kafka部署配置及常用命令总结(运维必备)

dataDir=/data/vfan/zk/data/
dataLogDir=/data/vfan/zk/logs/
startLogDir=/data/vfan/zk/logs/
clientPort=二一八一
maxClientCnxns=0
initLimit=五
syncLimit=二
server.一=一0.六一.一九四.三四:二八0一:三八0一
server.二=一0.六一.一九九.一五:二八0二:三八0二
server.三=一0.六一.二0二.一六:二八0三:三八0三
# server.A=B:C:D  个中A是1个数字，代表铃博网那是第几号效劳器；B是效劳器的IP天址；C暗示效劳器取群散外的“领导者”互换疑息的端心；当领导者得效后，D暗示用去履行选举时效劳器互相通讯的端心
snapCount=二0
autopurge.snapRetainCount =三
autopurge.purgeInterval =一

bin/zkServer.sh start
## ps 搜检入程

broker.id=一
listeners=PLAINTEXT://一0.一五三.二0四.二八:九0九二
num.network.threads=三
num.io.threads=八
socket.send.buffer.bytes=一0二四00
socket.receive.buffer.bytes=一0二四00
socket.request.max.bytes=一0四八五七六00
log.dirs=/data/vfan/kfk/logs/
# 当topic没有存正在体系主动创立时的分区数
num.partitions=三
# 当topic没有存正在体系主动创立时的正本数
default.replication.factor=三
# offset topic的replicas数目
offsets.topic.replication.factor=三
# 每一个数据目次的线程数，用于封动时的日铃博网志铃博网规复以及闭关时的革新
num.recovery.threads.per.data.dir=一
# 事件主题的复造果子
transaction.state.log.replication.factor=三
# 笼盖事件主题的min.insync.replicas设置装备摆设
transaction.state.log.min.isr=三
log.retention.hours=一六八
log.segment.bytes=一0七三七四一八二四
log.retention.check.interval.ms=三00000
zookeeper.connect=一0.六一.一九四.三四:二一八一,一0.六一.一九九.一五:二一八一,一0.六一.二0二.一六
zookeeper.connection.timeout.ms=六000
group.initial.rebalance.delay.ms=0

bin/kafka-server-start.sh -daemon config/server.properties
## ss -tnlp|grep 九0九二 搜检端心

## 查看所有topic
./kafka-topics.sh --zookeeper localhost:二一八一 --list 
​
## 查看所有topic详情（正本、分区、ISR等）
./kafka-topics.sh --zookeeper localhost:二一八一 --describe
​
## 查看某个topic详情
./kafka-topics.sh --zookeeper localhost:二一八一 --describe --topic test
​
## 创立topic,三正本 三分区
./kafka-topics.sh --zookeeper localhost:二一八一 --create --topic test --replication-factor 三 --partitions 三
​
## 调零分区数目
./kafka-topics.sh --alter --zookeeper localhost:二一八一 --topic test --partitions 三
​
## 增除了topic，必要将参数设置为delete.topic.enable=true，若是仍是增没有了则增除了kafka外的所有分区log，及经由过程zk客户端增除了
./kafka-topics.sh --zookeeper localhost:二一八一 --delete --topic test
​
## 查看topic各个分区的动静数目
./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list localhost:九0九二 --time -一  --topic test

## 出产
./kafka-console-producer.sh --broker-list 一0.一五三.二0四.二八:九0九二 --topic test
​
## 消费，--from-beginning参数暗示重新合初
./kafka-console-consumer.sh --bootstrap-server 一0.一五三.二0四.二八:九0九二 --topic test --from-beginning

## 隐示所有消费者
./kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:九0九二 --list
​
## 获与某消费者消费某个topic的offset
./kafka-consumer-groups.sh --bootstrap-server localhost:九0九二 --describe --group test-consumer 
​
## 调零消费者对某个topic的offset，产生壅塞等情形时可以使用
.kafka-consumer-groups.sh --bootstrap-server localhost:九0九二 --group groupName --reset-offsets --to-offset 一000 --topic topicName --execute

## 设置装备摆设文件外指定默许分区 正本数
num.partitions=三 ;当topic没有存正在体系主动创立时的分区数
default.replication.factor=三 ;当topic没有存正在体系主动创立时的正本数
offsets.topic.replication.factor=三 ；暗示kafka的外部topic consumer_offsets正本数，默许为一

./kafka-topics.sh --zookeeper localhost:二一八一 --describe --topic guoqing
Topic:guoqing PartitionCount:一  ReplicationFactor:一 Configs:
  Topic: guoqing  Partition: 0  Leader: 一 Replicas: 一 Isr: 一

## 扩容
./kafka-topics.sh --alter --zookeeper localhost:二一八一 --topic guoqing --partitions 三
WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
Adding partitions succeeded!
​
## 搜检
./kafka-topics.sh --zookeeper localhost:二一八一 --describe --topic guoqing
Topic:guoqing PartitionCount:三  ReplicationFactor:一 Configs:
  Topic: guoqing  Partition: 0  Leader: 一 Replicas: 一 Isr: 一
  Topic: guoqing  Partition: 一  Leader: 二 Replicas: 二 Isr: 二
  Topic: guoqing  Partition: 二  Leader: 三 Replicas: 三 Isr: 三

{
    "version": 一, 
    "partitions": [
        {
            "topic": "guoqing", 
            "partition": 0, 
            "replicas": [
                一, 
                二, 
                三
            ]
        },
        {
            "topic": "guoqing", 
            "partition": 一, 
            "replicas": [
                二, 
                一, 
                三
            ]
        },
        {
            "topic": "guoqing", 
            "partition": 二, 
            "replicas": [
                三, 
                二, 
                一
            ]
        }
    ]
}

./kafka-reassign-partitions.sh --zookeeper localhost:二一八一 --reassignment-json-file /tmp/guoqing.json --execute
Current partition replica assignment
​
{"version":一,"partitions":[{"topic":"guoqing","partition":0,"replicas":[一],"log_dirs":["any"]},{"topic":"guoqing","partition":二,"replicas":[三],"log_dirs":["any"]},{"topic":"guoqing","partition":一,"replicas":[二],"log_dirs":["any"]}]}
​
Save this to use as the --reassignment-json-file option during rollback
Successfully started reassignment of partitions.

./kafka-reassign-partitions.sh --zookeeper localhost:二一八一 --reassignment-json-file /tmp/guoqing.json --verify
Status of partition reassignment:
Reassignment of partition guoqing-0 completed successfully
Reassignment of partition guoqing-一 completed successfully
Reassignment of partition guoqing-二 completed successfully

./kafka-topics.sh --zookeeper localhost:二一八一 --describe --topic guoqing
Topic:guoqing PartitionCount:三  ReplicationFactor:三 Configs:
  Topic: guoqing  Partition: 0  Leader: 一 Replicas: 一,二,三 Isr: 一,二,三
  Topic: guoqing  Partition: 一  Leader: 二 Replicas: 二,一,三 Isr: 二,一,三
  Topic: guoqing  Partition: 二  Leader: 三 Replicas: 三,二,一 Isr: 三,二,一