Kafka+Zookeeper集群搭建

环境准备

安装步骤

一:配置JDK和环境变量

打开当前用户环境变量文件
vi ~/.bash_profile // 这里以当前用户为例
配置当前用户环境变量
export JAVA_HOME=/home/work/services/jdk1.8.0_131
export PATH=${JAVA_HOME}/bin:${PATH}
重新加载当前用户环境变量文件
source ~/.bash_profile
验证
java -version

二:搭建Zookeeper集群

以机器A为例

解压包
cd /home/work/dcs // 切换到下载目录
tar -zxvf zookeeper-3.4.13.tar.gz // 解压包
创建日志文件目录和数据文件目录
mkdir ./zookeeper-3.4.13/logs // 日志存放目录
mkdir ./zookeeper-3.4.13/data // 数据存放目录
打开配置文件
cd zookeeper-3.4.13/conf // 切换到配置目录
cp zoo_sample.cfg zoo.cfg // 根据样例配置文件复制出一个新的配置文件
vi zoo.cfg
修改配置文件
// 修改部分
dataDir=/home/work/dcs/zookeeper-3.4.13/data // 修改数据目录
// 添加部分
dataLogDir=/home/work/dcs/zookeeper-3.4.13/logs // 增加日志目录配置
server.0=192.168.1.1:2888:3888
server.1=192.168.1.2:2888:3888
server.2=192.168.1.3:2888:3888
新建myid文件
cd zookeeper-3.4.13/data // 切换到data目录
echo "0" > myid // id内容与上方server.*中的*对应
启动和关闭
// 启动
./bin/zkServer.sh start // 启动
// 关闭
./bin/zkServer.sh stop // 关闭

机器B、C配置和A一样

三:搭建Kafka集群

以机器A为例

解压包
cd /home/work/dcs // 切换到下载目录
tar -zxvf kafka_2.10-0.10.2.0.tgz // 解压包
创建数据日志文件目录
mkdir ./kafka_2.10-0.10.2.0/data // 数据日志存放目录
打开配置文件
cd kafka_2.10-0.10.2.0/config // 切换到配置文件目录
vi server.properties // 打开配置文件
修改配置文件
// 修改部分(A:192.168.1.1)
log.dirs=/home/work/dcs/kafka_2.10-0.10.2.0/data // 修改数据日志目录
broker.id=0 // 集群中保证唯一
listeners=PLAINTEXT://192.168.1.1:9092
advertised.listeners=PLAINTEXT://192.168.1.1:9092
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 // zookeeper的地址
// 修改部分(B:192.168.1.2)
log.dirs=/home/work/dcs/kafka_2.10-0.10.2.0/data // 修改数据日志目录
broker.id=1 // 集群中保证唯一
listeners=PLAINTEXT://192.168.1.2:9092
advertised.listeners=PLAINTEXT://192.168.1.2:9092
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 // zookeeper的地址
// 修改部分(C:192.168.1.3)
log.dirs=/home/work/dcs/kafka_2.10-0.10.2.0/data // 修改数据日志目录
broker.id=2 // 集群中保证唯一
listeners=PLAINTEXT://192.168.1.3:9092
advertised.listeners=PLAINTEXT://192.168.1.3:9092
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 // zookeeper的地址
启动和关闭
// 启动
./bin/kafka-server-start.sh config/server.properties // 启动-常规模式
nohup ./bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & // 启动-守护进程模式
// 关闭
./bin/kafka-server-stop.sh // 关闭

机器B、C配置和A一样

验证
jps // 检验进程是否存在

四:测试

// 创建topic
sh kafka-topics.sh --create --zookeeper 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --replication-factor 1 --partitions 3 --topic test

// 查询topic list
sh kafka-topics.sh --zookeeper 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --list

// 查询某topic详情
sh kafka-topics.sh --zookeeper 10.101.22.182:8081,10.101.22.182:8082,10.101.22.182:8083 --describe --topic test

// 模拟客户端生产
bin/kafka-console-producer.sh --broker-list 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --topic test

// 模拟客户端订阅
sh kafka-console-consumer.sh --zookeeper 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --topic test --from-beginning

// 删除topic
sh kafka-topics.sh --delete --zookeeper 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181 --topic test

五:注意事项

  • 启动Zookeeper之前,确保机器安装了JDK
  • 开启Kafka之前必须启动所有的Zookeeper
  • 启动Kafka集群时,最好使用守护进程模式,否则终端退出时,程序也会自动关闭

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 129,829评论 18 137
  • 前期准备 在root目录下建立program文件夹,用于存放所需的软件。并在program下建立data文件夹,d...
    好多鱼2018阅读 491评论 1 2
  • 上篇文章kafka环境搭建1-单机版介绍了kafka基本环境的搭建。kafka基于zookeeper管理集群,要在...
    heichong阅读 9,898评论 1 27
  • kafka集群搭建 网络上的博客质量参差不齐,对新手很不友好,我参考了一些博客文档后,重新写了一遍kafka的搭建...
    萧关逢候骑阅读 25,272评论 5 6
  • 文/沐叁 每日写作第47天。 每天纠结写作主题,执着文章质量,不仅耗费时间,还消磨斗志。我深切体会到完美主义和拖延...
    沐叁阅读 119评论 2 0
  • 时隔一年后再次回到这个熟悉的城市,不禁感慨起当初。 路过曾经一起走过的地方,看到以前常去的地方;风里来,雨...
    落叶纷飞絮阅读 205评论 0 0
  • 看完了我的前半生。 其中有一段是,陈俊生贺涵和白光的一段对话。三个喝了酒的男人坐在酱子饭店的门口,男神贺涵说,我在...
    我爱你红儿阅读 817评论 0 0
  • 早上起床,感觉自己突然长大了一般,直接晋升为一家之长的感觉。 起床后,接着和慧妹一起下楼,走到对过的楼房里,进了屋...
    旦旦日记阅读 69评论 0 0