main分享

kafka学习之路（七） - kafka的重平衡机制

笔记

kafka学习之路（六） - 分区机制

笔记

kafka分区机制当我们发送一条数据到kafka，总是希望数据能平均分配到每个服务器上，实现数据的均衡，特别是一些大公司的数据采集，每分钟都可以产生几十上百GB的数据量，甚至更多。因此如何将这么大的数据量均匀地分配到Kafka的各个Broker上，就成为一个非常重要的问题。 kafka分区 kak

kafka学习之路（五） - SpringBoot整合kafka

笔记

SpringBoot整合kafka 本章节说说kafka的安装部署，分为centosOS宿主机部署和docker部署添加依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring

kafka学习之路（四） - kafka安装

笔记

kafka安装本章节说说kafka的安装部署，分为centosOS宿主机部署和docker部署 CentOS安装kafka 前置环境：zookeeper，安装教程请查看《zookeeper的安装与连接》下载

kafka学习之路（三） - 配置参数说明

笔记

配置参数说明 Broker端参数目前Kafka Broker提供了近200个参数，这其中绝大部分参数都不需要修改。当谈及这些参数的用法时，这里列举一些比较重要的配置说下进行说明 log.dirs Kafka消息日志

kafka学习之路（二） - kafka版本号

笔记

kakfa版本号 Kafka版本号的格式为: kafka_2.11-2.4.1.tgz 前面的版本号2.11是编译Kafka源代码的Scala编译器版本。而实际上kafka版版本号是2.4.1，其中前面的2表示大版本号，即Major Version，中间的4表示小版本号或次版本号，即Minor Ve

kafka学习之路（一） - kakfa介绍

笔记

kakfa介绍 Kafka是一个分布式的流处理平台/框架, 主要用于构建以数据流为中心的分布式系统。 Kafka对数据采取流式处理, 通过类似“发布-订阅”的方式,实现了高吞吐量的消息传递机制。它将消息持久化到磁盘,形成一个存储层,以支持大量数据的存储。 Kafka内置了分区、冗余及容错机制,可以提