Windows平台下kafka环境的搭建
一、安装jdk环境
http://www.oracle.com/technetwork/java/javase/downloads/index.html
二、下载kafka的程序安装包: 下载二进制文件
http://kafka.apache.org/downloads 解压文件提取出里面的文件 在cmd命令行打开至根目录下,内容如下: (1).bin目录下存放的是程序运行时使用的脚本文件,window平台是一个独立的文件夹里面存放着 .bat 文件,bin的目录下存放的是 Linux 平台使用的 .sh 的shell脚本,在window平台上用不到,嫌麻烦可以删了。 (2).config目录下存放的是一些程序运行的配置文件,在后期自定义使用kafka的时候需要修改里面的文件内容。 (3).libs目录是打包好的jar包,这个版本自带了zookeeper的jar包,所以在安装的过程中不需要再在本地安装zookeeper了。
三、启动kafka服务并测试生产与消费
1、 启动zookeeper服务:
binwindowszookeeper-server-start.bat configzookeeper.properties
我在启动时报了个错误:
错误: 找不到或无法加载主类 FilesJavajdk1.8.0_144libdt.jar;C:Program 我下载的版本是:kafka_2.11-1.0.0 解决方法很简单。 打开路径kafka_2.11-1.0.0binwindows 下的文件kafka-run-class.bat 修改第179行 set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*
给%CLASSPATH%加上双引号即可。其他版本若遇到此问题,也是修改这一句代码,但不一定在这一行。
2. 启动kfaka服务:
在启动前,任然需要修改server.properties中log.dir的配置目录, 修改后,启动服务:
binwindowskafka-server-start.bat configserver.properties
3. 创建一个主题:
binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kjTest
可以使用如下命令查看创建的主题列表: binwindowskafka-topics.bat --list --zookeeper localhost:2181
4. 启动生产者:
binwindowskafka-console-producer.bat --broker-list localhost:9092 --topic kjTest
此时可以从控制台输入信息,待消费者启动后可接收到生产者发布的消息。
5. 启动消费者:
binwindowskafka-console-consumer.bat --zookeeper localhost:2181 --topic kjTest --from-beginning
上述过程总结:
一、四个命令行窗口
第一个命令窗口->启动zookeeper服务: binwindowszookeeper-server-start.bat configzookeeper.properties 第二个命令窗口->启动kfaka服务: binwindowskafka-server-start.bat configserver.properties 第三个命令窗口->启动启produce: 创建一个主题: binwindowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ydc1Test 使用如下命令查看创建的主题列表: binwindowskafka-topics.bat --list --zookeeper localhost:2181 启动生产者: binwindowskafka-console-producer.bat --broker-list 192.168.51.41:9092 --topic ydc1Test 第四个命令窗口->启动consumer: binwindowskafka-console-consumer.bat --zookeeper localhost:2181 --topic ydc1Test --from-beginning 二、Java:测试kafka生产和消费 参考网址:http://blog.csdn.net/honglei915/article/details/37563647 三、心得总结:
四、 在后期还可以启动多个集群服务,同时进行操作,修改server.properties中的内容:便可启动,与上相似。
config/server-1.properties:
broker.id=<new id>
listeners=PLAINTEXT://:<new port>
log.dir=<you log dir>
操作步骤:
2). 创建主题,设置分区数目
可以使用下面的命令查看是否创建成功,和具体的分区
3). 分别启动生产者消费者
4). 可以查看下当前工作状态
查看得当前服务使用的是broker编号为2的服务,但我们将其down掉后
再次执行消息发送任务:
消息仍能发送成功,命令行中会提示一个服务已关闭。
就查看当前状态: 此时的leader换成了broker 0 参考资料:http://kafka.apache.org/quickstart (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |