- 开启Kafka：
cd /opt/kafka_2.10-0.8.1.1
bin/kafka-server-start.sh config/server.properties
注意：kafkajar包的MAINFEST.MF中需要加入：Main-Class: MyKafka
- 运行程序：
java -jar XXX.jar
java -Djava.ext.dirs=/opt/kafka_2.10-0.8.1.1/libs -jar testProducer.jar
java -cp traffic-distribution-0.0.1-SNAPSHOT-jar-with-dependencies.jar producer.producer /home/test/ test_wm 0 1
- 列出topics：
bin/kafka-topics.sh --list --zookeeper datanode1:2181
- 删除topic： （只是删除主题，文件依然存在）
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand -topic test29 -zookeeper datanode2:2181
要想删除文件需要先关闭kafka，再去/tmp/kafkalogs/下面去手动删除相应的主题，我现在还没有找到合适的方法。
- kafka编译（这样一个才能产生mainclass项）：
mvn clean compile
mvn package
-
kafka集群设置：
在kafka的config的server.properties文件中设置zookeeper.connect -
查看topic的信息：
bin/kafka-topics.sh --describe --zookeeper datanode34:2181 --topic test-4
- 删除group：
在/opt/cloudera/parcels/CDH/bin/
$sh zookeeper-client
$ls /consumers
- 写入hdfs的consumer：
管理内存：export HADOOP_OPTS=”-Xmx4096m”
运行命令：hadoop jar splitConsumer.jar datanode1:2181 two200to4 twoConsumerTest 4 /user/kafka
- 开启topic
bin/kafka-topics.sh --zookeeper datanode2:2181 --create --topic test-2 --partitions 1 --replication-factor 1
bin/kafka-topics.sh --zookeeper datanode1:2181 --create --topic test29 --replica-assignment 29,29