記事のディレクトリ
このブログ記事は、カフカのAPIは、マルチスレッドの生産に使用することで
、より高度な使い方が私のブログカフカシリーズ参照
:リファレンス
https://www.orchome.com/189
https://www.w3cschool.cn/apache_kafka/apache_kafka_workflow .htmlを
I.はじめに
導入に関連したカフカの概念は、公式文書やその他のボーエン見る
中国の公式文書の
カフカ入門プレゼンテーションを
スループットを向上させるカフカのため、メッセージシーケンスを切断する場合には大量のデータを複数のスレッドのプロデューサを使用する必要はありません。
実装:複数のスレッドでKafkaProducerを共有するオブジェクトをインスタンス化します。KafkaProducerは、スレッドセーフです。
II。達成するために
2.1紹介依存性
主に春・カフカに依存しています
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit-dep</artifactId>
<version>4.9</version>
<scope>test</scope>
</dependency>
<!-- kafka start -->
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>0.10.1.1</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.10.1.1</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-streams</artifactId>
<version>0.10.1.1</version>
</dependency>
<!-- kafka end -->
<dependency>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>2.2-beta-5</version>
</dependency>
<dependency>
<groupId>commons-lang</groupId>
<artifactId>commons-lang</artifactId>
<version>2.3</version>
</dependency>
<dependency>
<groupId>commons-collections</groupId>
<artifactId>commons-collections</artifactId>
<version>3.2.1</version>
</dependency>
</dependencies>
以上2.2スレッドの生産者
プロデューサースレッドKafkaProducerThread.java
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
/**
* 生产者线程
*/
public class KafkaProducerThread implements Runnable {
private KafkaProducer<String, String> producer = null;
private ProducerRecord<String, String> record = null;
public KafkaProducerThread(KafkaProducer<String, String> producer, ProducerRecord<String, String> record) {
this.producer = producer;
this.record = record;
}
@Override
public void run() {
producer.send(record, new Callback() {
@Override
public void onCompletion(RecordMetadata metaData,
Exception exception) {
if (null != exception) {// 发送异常记录异常信息
System.out.println("Send message exception:" + exception);
}
if (null != metaData) {
System.out.println(String.format("offset:%s,partition:%s",
metaData.offset(), metaData.partition()));
}
}
});
}
}
プロデューサーMultiThreadProducer.java
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
/**
* 生产者--多线程
*/
public class MultiThreadProducer {
public static void main(String[] args) {
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
// 生产者
KafkaProducer<String, String> producer = new KafkaProducer<String, String>(props);
// 线程池
ExecutorService executor = Executors.newFixedThreadPool(5);
ProducerRecord<String, String> record;
try {
for (int i = 0; i < 10; i++) {
record = new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i));
executor.submit(new KafkaProducerThread(producer, record));
}
Thread.sleep(3000);
} catch (Exception e) {
System.out.println("Send message exception" + e);
} finally {
producer.close();
executor.shutdown();
}
}
}
:詳細なパラメータは、以下を参照してください。
http://www.shixinke.com/java/kafka-configuration
https://blog.csdn.net/xiaozhu_you/article/details/91493258
送信元アドレス
-CLOUD-KAFKA-ITのCLIENT:Spring統合カフカチュートリアルのソースコード。このCSDNカフカシリーズのボーエン。
おすすめ商品
CLOUD-IT:ITサービス管理プラットフォーム、統合基本的なサービス、ミドルウェアサービス、アラーム監視サービス。
CLOUD-ACTIVITI6-IT:Activitiチュートリアルのソースコード。このシリーズのCSDN Activitiボーエン。
CLOUD-elasticsearch-IT:elasticsearchチュートリアルのソースコード。このシリーズのCSDN elasticsearchボーエン。
CLOUD-KAFKA-IT:Spring統合カフカチュートリアルのソースコード。このCSDNカフカシリーズのボーエン。
-CLOUD-KAFKA-ITのCLIENT:カフカが住んでいたクライアントのチュートリアルのソース。このCSDNカフカシリーズのボーエン。継続的に更新のオープンソースプロジェクト、してくださいのようなスター〜