背景
没有设置消息键时Kafka默认的分区算法是轮循,设置了消息键将按消息键的hashcode计算分区值。这种方法可以保证未设置消息键时各分区负载均衡。也可以保证设置消息键后的消息放到同一个分区发送,以保证消息按顺序消费。
但在某些业务场景下,我们可能也想要自定义分区算法。Producer端的配置支持做这样的自定义。
实现Partitioner接口,定义自己的算法
下面以一个简单的例子举例,要求key为Tom的消息放1号分区,key为Alice的消息放2号分区。实际项目使用什么样的分区算法需要根据业务场景来决定。
/*** 自定义分区算法** @author neo* @since 2024-05-10*/
public class NeoPartitioner implements Partitioner {// 分区数量private static final int PARTITION_NUM = 5;private RoundRobinPartitioner roundRobinPartitioner = new RoundRobinPartitioner();@Overridepublic int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {if (key == null || "".equals(key)) {// 未指定分区键,使用轮循分区(指定了key的消息不参与轮循)return roundRobinPartitioner.partition(topic, key, keyBytes, value, valueBytes, cluster);}// 基于业务的约定. 某些消息放到固定的分区if ("Tom".equals(key)) {return 1;}if ("Alice".equals(key)) {return 2;}// 其它情况按key的哈希值分区int keyCode = key.hashCode();return keyCode % PARTITION_NUM;}@Overridepublic void close() {}@Overridepublic void configure(Map<String, ?> map) {}
}