spark之反压机制

        如果群集资源少,处理数据较慢,则可以通过设置最大速率限制来限制接收器。在Spark 1.5中,引入了一项称为反压机制的功能,无需设置此速率限制,因为Spark Streaming会自动计算出速率限制,并在处理条件发生变化时动态调整。可以通过设置来启用配置参数。详细参数配置如下:

参数名称 默认值 含义
spark.streaming.backpressure.enabled false 是否启用反压机制
spark.streaming.backpressure.initialRate no set 每个接收器初次接收数据的最大速率
spark.streaming.blockInterval 200ms 数据块分块的时间间隔
spark.streaming.receiver.maxRate no set 每个接收器最大接收速率(每秒记录数)
spark.streaming.receiver.writeAheadLog.enable false 启用预写日志
spark.streaming.unpersist true 清除sparkstreaming持久化的RDD
spark.streaming.stopGracefullyOnShutdown false Spark StreamingContext在JVM关闭时立即关闭
spark.streaming.kafka.maxRatePerPartition no set 从每个kafka分区中读取数据的速率(每秒记录数)
spark.streaming.kafka.minRatePerPartition 1 从每个kafka分区中读取数据的速率(每秒记录数)
spark.streaming.kafka.maxRetries 1 驱动程序在每个kafka分区的leader中寻找最新的偏移量的最大重试次数(设置为1,表示重试次数为2)
spark.streaming.ui.retainedBatches 1000 在垃圾收集之前,Spark Streaming UI和状态API记住的批次数量
spark.streaming.driver.writeAheadLog.closeFileAfterWrite false 在驱动器端写入预写日志后是否关闭文件
spark.streaming.receiver.writeAheadLog.closeFileAfterWrite false 在接收器端写入预写日志后是否关闭文件

详情见http://spark.apache.org/docs/latest/configuration.html#spark-streaming

猜你喜欢

转载自blog.csdn.net/weixin_42487706/article/details/89382479