Kafka应用--金融行业分布式数据计算

 

股票期货数据数据计算特点:

1. 每只股票或期货账户有许多数据要计算而不涉及其它账户,比如净值、收益率、波动率、夏普值...

2. 账户量一般比较大,有并发处理需求。

3. 不需要Consumer运行完后向producer返回结果。

 

 

而Kafka刚好满足这些需求:

1. 当partition数量大于consumer数据时,可以动态添加多个consumer,起到负载均衡的作用  

参见:http://oracle-api.iteye.com/admin/blogs/2374848 中的  consumer group 与 partition

2. 虽然多个Consumer同时消费一个Group无法保证顺序,但是可以保证每个partition中消息的顺序。使用producer发数据的时候以账户Id的hashcode作为分配到哪个partition的依据,可以保证同一个基金账户的消息顺序。

3. 对于没有及时消费完的message,kafka可起到缓冲的作用。

4. Kafka存储所有历史消息数据,可以随时重头或从某个位置重新读取消息。

 

 

猜你喜欢

转载自oracle-api.iteye.com/blog/2383882
今日推荐