为了便于说明问题,假设这里只有一个单节点的伪分布式Kafka集群。在这个Kafka broker实例的$KAFKA_HOME/config/server.properties中配置 log.dirs=/tmp/kafka-logs，以此来设置 Kafka 消息文件存储目录。并通过命令: 创建一个 topic:topic_test，partition的数量配置为4。接下来可以在 /tmp/kafka-logs 目录中可以看到生成了 4 个partition目录： 在Kafka文件存... ... [查看更多]
Views: 589
配置Kafka无消息丢失 Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。Kafka 的 一个Broker或多个Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交，具体是一个Broker还是多个Broker取决ack参数的配置。 要想要消息不丢失，假如你的消息保存在 N 个 Kafka Broker 上，那么这个前提条件就是这 N 个 Broker 中至少有 1 个存活。 目前 Kafka Prod... ... [查看更多]
Views: 283
需求 针对twitter网站上的一篇推文的接触用户(也叫REACH值）进行统计。 Reach值让你了解推文的真实覆盖到的用户群体, 要计算一个推文URL的Reach值，需要以下4步： 根据推文的URL查询数据库获取全部直接接触用户（转发的用户） 再根据接触用户通过查询数据库获取每个用户的全部粉丝 对粉丝集合中的用户进行去重处理 最后统计去重后的用户数, 即这个推文的Reach值 拓扑定义 一个单独的Reach计算在计算期间可能涉及到数千次数据库访问和数千万的粉丝记录查询，可能是一... ... [查看更多]
Views: 340
