主题操作 kafka-topics.sh脚本可以用来管理主题. --topic 指定操作的主题名，除了创建之外都可以使用正则表达式，但是要使用\转义。另外命名不要使用两个下划线开头（__表示系统内建的主题，比如__consumer_offset），主题命名中不要将.和_混用(kafka会将.最终转换成_)。 创建主题 注意: --bootstrap-server 后不要使用localhost, 而是跟上主机名 --zookeeper localhost:2181/kafka 这... ... [查看更多]
Views: 623
为什么使用Trident 逐个处理单个tuple会增加很多开销，因此storm中引入Trident实现batch处理. Trident优点是： 批次处理消息 减少持久化的开销 结合Trident State能可靠保证每个消息只被处理一次 Trident的 State Trident 在进行聚合操作时需要缓存中间结果, 可以看做Trident的状态(State). Trident状态既可以保留在topology的内部，比如说内存中，也可以放到外部存储当中，比如说Memcached或... ... [查看更多]
Views: 598
Kafka生产者中的配置项key.serializer 和value.serializer指示如何将用户通过其ProducerRecord提供的键和值对象转换为字节。对于简单的字符串或字节类型，可以使用包含的ByteArraySerializer或StringSerializer进行序列化操作。 kafka在发送或者接收消息的时候实际是使用byte[]字节型数组进行传输的。但是我们平常使用的时候，不但可以使用byte[]，还可以使用int、short、long、float、doubl... ... [查看更多]
Views: 559
高级API 在控制台创建发送者 创建消费者（过时API） 官方提供案例（自动维护消费情况, 新API） 高级消费者和简单的消费者有以下的区别。 1.自动/隐藏偏移管理（Offset Management ） 2.自动（简单）分区分配 3.Broker 故障转移 => 自动重新平衡 4.Consumer 故障转移 => 自动重新平衡 低级API 也叫Simple Consumer, 实际使用起来并不简单. 实现使用低级API读取指定topic，指定partition,... ... [查看更多]
Views: 551
为了便于说明问题,假设这里只有一个单节点的伪分布式Kafka集群。在这个Kafka broker实例的$KAFKA_HOME/config/server.properties中配置 log.dirs=/tmp/kafka-logs，以此来设置 Kafka 消息文件存储目录。并通过命令: 创建一个 topic:topic_test，partition的数量配置为4。接下来可以在 /tmp/kafka-logs 目录中可以看到生成了 4 个partition目录： 在Kafka文件存... ... [查看更多]
Views: 589
