まず、インストール
ます。https:カフカは、公式ウェブサイトを介してダウンロードすることができます//kafka.apache.org/downloads
カフカScalaは異なるバージョンに応じて、複数のバージョンに分かれて、私は公式バージョンkafka_2.12-2.4.0.tgzをダウンロードすることをお勧めしますので、スカラ座を使用する必要はありません。
使用タール-xzvf kafka_2.12-2.4.0.tgz解凍
便宜上、あなたはソフトリンクkafka0を作成することができます
二、飼育係の構成
カフカのプログラムの現在のダウンロードは飼育係が来る、あなたが直接、自分の飼育係を使用してクラスタを構築することができ、飼育係は、クラスタを確立するために単独でインストールファイルを使用することができます。
1.クラスタを確立するために、個別のインストールファイル飼育係
飼育係のインストールと構成について詳細に説明されている別のブログを参照することができます
https://www.cnblogs.com/zhaoshizi/p/12105143.html
2.自分自身を直接使用するには、クラスタ飼育係を構築します
カフカわずかに異なるオリジナルの飼育係と飼育係のスクリプトおよびコンフィギュレーションファイル名が来ます。
カフカは、飼育係がzookeeper-server-stop.shビン/ zookeeper-server-start.sh、およびbinは/開始と飼育係を停止するために使用しています。
そして、設定ファイルには、飼育係のconfig / zookeeper.properties、パラメータを変更することができています
(1)スタート飼育係
ビン/飼育係・サーバースタート。SH -daemonのconfig / zookeeper.properties
プラス-daemonパラメータ、あなたは、バックグラウンドでディレクトリ内の実行中に保存されたログ/ zookeeper.outファイルの情報出力を飼育係を開始することができます。
サーバーの小さなメモリの場合は、次のエラーが発生し始めることが可能です
OS :: commit_memory(0x00000000e0000000、536870912、0)が失敗しました。エラー=「十分なスペースがありません」(エラー番号= 12)
ビン/ zookeeper-server-start.shは、下の図-Xmx512M -Xms512M少しずつ、メモリ使用量を削減することであるパラメータを変更することができます。
(2)クローズ飼育係
ビン/飼育係・サーバの停止。SH -daemonのconfig / zookeeper.properties
三、カフカの構成
カフカコンフィギュレーションファイルのconfig / server.properties文書、主なパラメータは以下のように、より具体的なパラメータは、後の仕上げに記載されている修正します。
broker.idは異なるクラスタIDの数は、各ブローカに必要とされる仲介カフカあります。私はゼロからスタート。
リスナーは、ローカルIPアドレスを設定し、それから、アドレスにネットワーク外部のサービスを提供する必要性を聞いています
log.dirsは、ログディレクトリである、あなたが設定する必要があります
飼育係は、クラスタアドレスを設定し、私はそうローカルアドレスを記入し、同じサーバに構築カフカと飼育係にありました
num.partitions パーティショントピックの新しいデフォルト数、プロモーションのパーティション番号は、ある程度の同時実行性を向上させることができます
内部構成のトピック
トピック__transaction_stateと二つの内部__consumer_offsets、メタデータパケットの複製因子は、可用性を確保するために、お薦めの生産に1が提供さよりも大きいです。
カフカのにdefault.replication.factor 数は1つのコピーが失敗した場合、コピーのデフォルトの数が自動的に作成されたトピックは、3に設定することができたときに、他のサービスを提供し続けることができ、メッセージのコピーを保存します
因为要创建kafka集群,所以kafka的所有文件都复制两份,配置文件做相应的修改,尤其是brokerid、IP地址和日志目录。分别创建软链接kafka1和kafka2。
四、启动及停止kafka
1. 启动kafka
bin/kafka-server-start.sh -daemon config/server.properties
-daemon 参数会将任务转入后台运行,输出日志信息将写入日志文件,日志文件在执行命令的目录下的logs目录中kafkaServer.out,结尾输同started说明启动成功。
也可以用jps命令,看有没有kafka的进程
2. 停止kafka
bin/kafka-server-stop.sh config/server.properties
五、测试
kafka和Zookeeper已启动完成
1. 创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.202.128:2181 --replication-factor 3 --partitions 3 --topic test
2. 查看主题
bin/kafka-topics.sh --list --zookeeper 192.168.202.128:2181
3. 发送消息
bin/kafka-console-producer.sh --broker-list 192.168.202.128:9094 --topic test
4. 接收消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.202.128:9092 --topic test --from-beginning
5. 查看特定主题的详细信息
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test
从中可以看到,test主题分了三个区,复制因子是3。
6. 删除主题
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test