Kafka相关

发表于 2020-07-30 阅读次数：

1 2	kafka-consumer-groups.sh --bootstrap-server 172.20.154.101:9092 --describe --group marketing_group \| grep task-prize-gift

Kafka 的 Lag 计算误区及正确实现_朱小厮的博客-CSDN 博客_kafka lag

查看正在运行的消费组
kafka_2020-07-30-12-51-21

1 2	kafka-consumer-groups --bootstrap-server master:9092 --list --new-consumer kafka-consumer-groups.sh --bootstrap-server ce-kafka:9092 --list

计算消息的消息堆积情况
kafka_2020-07-30-12-51-47

1 2	kafka-consumer-groups --bootstrap-server master:9092 --describe --group test_kafka_game_x_g1 kafka-consumer-groups.sh --bootstrap-server ce-kafka:9092 --describe --group default-group

说明：

LogEndOffset 下一条将要被加入到日志的消息的位移
CurrentOffset 当前消费的位移
LAG 消息堆积量

消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量

kafka 清理数据日志 - Adrian·Ding - 博客园

log.dirs=/data/kafka-logslog.cleaner.enable=true
log.cleanup.policy = delete　　　　// delete|compact
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000

1
2

kafka-configs.sh --zookeeper ce-zookeeper:2181 --entity-type topics --entity-name __consumer_offsets --describe
kafka-configs.sh --zookeeper ce-zookeeper:2181 --entity-type topics --entity-name __consumer_offsets --alter --delete-config cleanup.policy

命令行操作

# 创建名称为 topic_1 的主题
kafka-topics.sh --zookeeper nodek.com:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1

# 显示消费组
kafka-consumer-groups.sh --bootstrap-server nodek.com:9092 --list
kafka-consumer-groups.sh --new-consumer --bootstrap-server nodek.com:9092 --list

# 描述消费组（可以查看 offset, client_id, partition等）
kafka-consumer-groups.sh --bootstrap-server nodek.com:9092 --describe --group  consumer_demo1

# 生产消息
kafka-console-producer.sh --topic topic_1 --broker-list nodek.com:9092

# 消费消息（指定消费组为 console-consumer-83559）
kafka-console-consumer.sh --bootstrap-server nodek.com:9092 --topic topic_1 --group console-consumer-83559
kafka-console-consumer.sh --bootstrap-server 172.20.154.101:9092 --topic task-prize-gift-dev --from-beginning