墨尔本服务器消息队列 Kafka 部署与优化实战

Kafka 是高吞吐量消息队列。以下是实战。

一、架构 - Broker：消息服务器 - Topic：消息分类 - Partition：分区，并行 - Producer/Consumer - ZooKeeper/KRaft

二、部署 1) 准备服务器 2) 安装 JDK 和 Kafka 3) 配置 broker 4) 启动集群 5) 创建 topic 6) 测试生产消费

三、核心配置 - broker.id：唯一标识 - listeners：监听地址 - log.dirs：日志目录 - num.partitions：分区数 - replication.factor：副本数

四、性能优化 - 分区数：并行度 - 副本数：可靠性 - 批处理：吞吐量 - 压缩：减少带宽 - 页缓存：利用 OS 缓存

五、高可用 - 多副本 - 副本同步 - Leader 选举 - 故障转移

六、监控 - 消息积压 - 吞吐量 - 延迟 - Broker 状态

七、常见问题 1) 消息丢失：acks=all 2) 重复消费：幂等处理 3) 积压：增加消费者 4) 延迟：优化批处理

总结：Kafka 要合理分区和副本，监控积压和延迟。