Kafka consumer频繁reblance
其实文章名可以叫 记一次线上 Kafka 问题排查,但觉得稀松平常,弄些术词显得硬核点,hhh,言归正传,线上一个 Go 服务是一组 Kafka 的消费者,在运行了很多天之后,Kafka 数据突然积压了,查看 Kafka 服务正常,查看 Go 服务也运行正常,进到 Go 服务容器内部查看日志,发现消费者的 Go 服务频繁 rebalance 并且大概率返回失败。因为我们所使用的 Kafka ...
其实文章名可以叫 记一次线上 Kafka 问题排查,但觉得稀松平常,弄些术词显得硬核点,hhh,言归正传,线上一个 Go 服务是一组 Kafka 的消费者,在运行了很多天之后,Kafka 数据突然积压了,查看 Kafka 服务正常,查看 Go 服务也运行正常,进到 Go 服务容器内部查看日志,发现消费者的 Go 服务频繁 rebalance 并且大概率返回失败。因为我们所使用的 Kafka ...
简介前面洋洋洒洒写了那么多文章,Kong搭建、Konga搭建、Kong插件开发工具包、Lua算法实现等等,就为了这篇Kong插件开发铺垫,在进一步讨论之前,有必要再简要阐述下 Kong 是如何构建的,特别是它如何与 Nginx 集成,以及它与 Lua 脚本之间的关系。使用 lua-nginx-module 模块可以在 Nginx 中启用 Lua 脚本功能,Kong 与 OpenResty 一...
【意识大于行动】之前看了李笑来在 Github 上开源的【定投改变命运 —— 让时间陪你慢慢变富】,我 Fork 到我的仓库了,感兴趣的朋友可以看看,重点...
背景最近因为要修复安全漏洞,在写 Kong 的自定义插件,要对服务器返回值进行一些关键信息过滤,再返回,原来服务器的请求和返回的数据都进行了 gzip 压缩。但 lua 下对 gzip 进行解压,需要借助一个库:lua-zlib,lua 是一个和 C语言结合紧密的脚本语言,实际上 lua-zlib 就是一个 C语言编写的库,我们将其编译成动态链接库 zlib.so,让 lua 来引用。附上:...