kafka基础一

基本概念: 消息系统的组成由生产者,消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。Kafka作为分布式的消息系统支持多个生产者多个消费者,写消息时允许多个生产者写到同一个P...

基本概念:

消息系统的组成由生产者,消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。Kafka作为分布式的消息系统支持多个生产者多个消费者,写消息时允许多个生产者写到同一个Partition中,一个Partition中的消息只允许一个消费者组中的一个消费者消费。
kafka流程图
1.Producer:消息生产者
2.Consumer:消息消费者
3.Topic:一个队列
4.Consumer Group(CG):这是Kafka用来控制单播和多播的手段。但是,每个partion只会把消息发送给该CG中的一个Consumer,如果需要实现广播,只需要每个Consumer有一个独立的CG就可以了,要想实现单播只要所有的Consumer在同一个CG上,用CG还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic
5.Broker:一台kafka服务器就是一个broker,一个Kafka集群由多个broker组成,一个broker可以容纳多个topic
6.Partition:分区,为了实现扩展性,一个非常大的topic可以分不到多个broker上,一个topic可以有多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。Kafka只保证按一个partition中的顺序将消息发送给Consumer,不保证也给topic的整体(多个partition间)的顺序
7.Offset:kafka的存储文件都是按照offset.kafka来命名,用offset做名字的好处是方便查找

  • 发表于 2019-03-23 16:40
  • 阅读 ( 245 )
  • 分类:网络文章

条评论

请先 登录 后评论
不写代码的码农
小编

篇文章

作家榜 »

  1. 小编 文章
返回顶部
部分文章转自于网络,若有侵权请联系我们删除