Apache Kafka - 基本操作

Apache Kafka教程 之 Apache Kafka - 基本操作

http://www.xcan.top/

Apache Kafka - 基本操作

首先让我们开始实现单节点单个代理配置,然后我们将我们的设置迁移到单节点多代理配置。希望你现在可以在你的机器上安装Java,ZooKeeper和Kafka。在移动到Kafka群集设置之前,首先需要启动ZooKeeper,因为Kafka Cluster使用ZooKeeper。

启动ZooKeeper

打开一个新终端并键入以下命令 -

bin/zookeeper-server-start.sh config/zookeeper.properties

要启动Kafka Broker,请键入以下命令 -

bin/kafka-server-start.sh config/server.properties

查看更多

分享到

Apache Kafka - 安装步骤

Apache Kafka教程 之 Apache Kafka - 安装步骤

enter image description here

Apache Kafka - 安装步骤

步骤1 - 验证Java安装

希望您现在已经在您的计算机上安装了Java,所以您只需使用以下命令进行验证。

$ java -version

如果在您的计算机上成功安装了java,您可以看到已安装的Java版本。

查看更多

分享到

Apache Kafka -工作流程

Apache Kafka教程 之 Apache Kafka -工作流程

Apache Kafka - 工作流程

kafka只是一个分为一个或多个分区的主题集合。kafka分区是线性有序的消息序列,其中每个消息由其索引(称为偏移量)标识。Kafka群集中的所有数据都是分区的不连贯的并集。传入的消息被写在分区的末尾,消息被消费者依次读取。通过将消息复制到不同的经纪人来提供耐久性。

Kafka以快速,可靠,持久,容错和零停机的方式提供基于pub-sub和队列的消息传递系统。在这两种情况下,生产者只需将消息发送到主题,消费者可以根据需要选择任何一种消息系统。让我们按照下一节中的步骤来了解消费者如何选择他们选择的消息系统。

查看更多

分享到

Apache Kafka - 消费者示例

Apache Kafka教程 之 Apache Kafka - 消费者示例

http://www.xcan.top/

Apache Kafka - 消费者示例(Consumer Group)

Consumer Group是从kafka Topic的多线程或多机器消费。

Consumer Group

  • 消费者可以使用相同的group.id加入Group
  • 组中的最大并行度是组中的消费者数量←不是分区。
  • kafka将一个 Topic的分区分配给组中的消费者,以便每个分区由组中的一个消费者消耗。
  • kafka保证消息只能由组内的单个消费者读取。
  • 消费者可以按照日志中存储的顺序查看消息。

查看更多

分享到

Apache Kafka - 生产者示例

Apache Kafka教程 之 Apache Kafka - 生产者示例

http://www.xcan.top/

Apache Kafka - 生产者示例

让我们创建一个使用Java客户端发布和使用消息的应用程序。Kafka生产者客户端由以下API组成。

KafkaProducer API

让我们了解本节中最重要的一套Kafka生产者API。KafkaProducer API的核心部分是KafkaProducer类。

查看更多

分享到

Apache Spark

Apache Spark

用于大规模数据处理的引擎

介绍Spark,解释其在大数据中的位置,逐步设计和创建Spark应用程序,并解释常用的操作和操作。

查看更多

分享到

Apache Spark的工作原理

Apache Spark的工作原理

Spark引擎提供了一种在一组机器上分布式内存中处理数据的方法。图7显示了典型的Spark作业如何处理信息的逻辑图。

查看更多

分享到