-
常用参数
val sparkConf = new SparkConf().setAppName("...")
.set("spark.streaming.kafka.consumer.poll.ms", "100000")
//基于Direct Stream方式的Kafka连接时可设置此参数
.set("spark.streaming.kafka.maxRatePerPartition","500")
.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
.set("spark.streaming.backpressure.enabled","true")
.set("spark.speculation","true")
val ssc=new StreamingContext(sparkConf,Seconds(10)) //batchDurationspark.streaming.backpressure.initialRate 启用反压机制时每个接收器接收第一批数据的初始最大速率。默认值没有设置 spark.streaming.backpressure.pid.minRate 用于控制最小处理速率,默认值100条/秒
//控制每秒读取Kafka每个Partition最大消息数(maxRatePerPartitionbatchDuration),若Streaming批次为10秒,topic最大分区为3,则每批次最大接收消息数为5003*10=15000
2、日志查看
待续
3、性能问题解决
待续4、一致性问题解决
待续
Spark Streaming 使用
猜你喜欢
转载自blog.51cto.com/zhsusn/2599058
今日推荐
周排行