Apache Kafka是一个分布式流处理平台,主要用于构建实时数据管道和流应用。它是水平可扩展、容错性强、并且能够处理数百GB的数据。Kafka的核心是发布-订阅模型,它可以处理大量实时数据。

Kafka主要由以下几个部分组成:

  1. Producer:生产者负责将消息发送到Kafka。
  2. Broker:Broker是一个独立的服务器,存储发布到topics(话题)中的消息。
  3. Topic:Topic就像一个队列或者频道,在这里生产者发布消息,并且消费者从中读取消息。
  4. Consumer:消费者从broker读取消息,并进行处理或存储等操作。
  5. Zookeeper: Zookeeper在Kafka系统中扮演着协调角色。它负责管理和协调broker、consumer和producer之间的关系。

下面我们来看一下一些常用命令:

  1. 创建topic:
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

这个命令会在localhost:2181上运行Zookeeper,并创建名为test的topic,该topic有一个副本并且被划分为了一部分。

  1. 查看所有topics:
kafka-topics.sh --list -zookeeper localhost:2181

这个命令会列出所有在localhost:2181上运行的Zookeeper中的topics。

  1. 发送消息到topic:
kafka-console-producer.sh --broker-list localhost:9092 --topic test

这个命令会将消息发送到localhost:9092上运行的broker中名为test的topic。

  1. 从topic读取消息:
kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning -– topic test

这个命令会从名为test的topic读取所有消息,包括已经存在和新产生的。

  1. 删除一个Topic:
kafka-topics.sh -– delete –- zookeeper localhost:2181 –- topic test 

这个命令将删除在localhost:2181上运行Zookeeper中名为test 的Topic。

  1. 查看Topic详细信息:
kafka-topics.sh -– describe –- zookeeper localhost:2181 –- topic test 

此命令将显示在localhost:2181 上运行Zookeeper 中名为test 的 Topic 的详细信息。

以上就是Kafka基础知识概述以及常用命令详细介绍,希望对你有所帮助。

云服务器/高防CDN推荐

蓝易云国内/海外高防云服务器推荐


海外免备案云服务器链接:www.tsyvps.com

蓝易云安全企业级高防CDN:www.tsycdn.com

持有增值电信营业许可证:B1-20222080【资质齐全】

蓝易云香港五网CN2 GIA/GT精品网络服务器。拒绝绕路,拒绝不稳定。


百度搜索:蓝易云

最后修改:2024 年 01 月 05 日
如果觉得我的文章对你有用,请随意赞赏