配置Kafka无消息丢失 Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。Kafka 的 一个Broker或多个Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交，具体是一个Broker还是多个Broker取决ack参数的配置。 要想要消息不丢失，假如你的消息保存在 N 个 Kafka Broker 上，那么这个前提条件就是这 N 个 Broker 中至少有 1 个存活。 目前 Kafka Prod... ... [查看更多]
Views: 283
需求 针对twitter网站上的一篇推文的接触用户(也叫REACH值）进行统计。 Reach值让你了解推文的真实覆盖到的用户群体, 要计算一个推文URL的Reach值，需要以下4步： 根据推文的URL查询数据库获取全部直接接触用户（转发的用户） 再根据接触用户通过查询数据库获取每个用户的全部粉丝 对粉丝集合中的用户进行去重处理 最后统计去重后的用户数, 即这个推文的Reach值 拓扑定义 一个单独的Reach计算在计算期间可能涉及到数千次数据库访问和数千万的粉丝记录查询，可能是一... ... [查看更多]
Views: 340
http://kafka.apache.org/25/documentation.html#api Kafka 架构回顾 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Topic ：可以理解为一个队列； 4） Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）... ... [查看更多]
Views: 471
分布式远程过程调用 所谓过程调用就是指方法调用, 讲解分布式远程过程调用前先看一看什么是普通方法调用和远程过程调用. 普通方法调用 以一个普通Java类中的方法为例: 远程过程调用 RPC = Remote Procedure Call(远程过程调用) RPC即在一台机器以远程的方式调用另外一台机器中的应用中的功能(方法或函数) Storm中使用的Thrift就是一个RPC框架, Thrift由C++编写，但可以支持很多语言。要创建一个Thrift服务，必须写一些Thrif... ... [查看更多]
Views: 382
编写项目并打包上传 为了方便, 这里我们把自定义调度器DirectScheduler和测试用拓扑程序DirectScheduledTopology放在一个项目中. pom.xml 自定义Scheduler 测试用拓扑 打成jar包, 上传至nimbus所在节点的storm下的lib目录下 集群环境搭建(3节点) 准备三台机器,hadoop001, hadoop002, hadoop003. 我们希望hadoop001启动: nimbus, ui, logviewer, supe... ... [查看更多]
Views: 307
