Storm – 使用Trident实现词频统计并提供实时查询

为什么使用Trident 逐个处理单个tuple会增加很多开销,因此storm中引入Trident实现batch处理. Trident优点是: 批次处理消息 减少持久化的开销 结合Trident State能可靠保证每个消息只被处理一次 Trident的 State Trident 在进行聚合操作时需要缓存中间结果, 可以看做Trident的状态(State). Trident状态既可以保留在topology的内部,比如说内存中,也可以放到外部存储当中,比如说Memcached或... ... [查看更多]

Views: 598