V2EX › Tongwin 的所有回复 › 第 3 页 / 共 26 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 26

❮

❯

320 天前

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@lsk569937453 这个项目我是从前辈那里接过来的。目前已经在线上稳定运行一段时间。目前是不适宜在短时间内重构它。只想着在现有的情况下，特殊处理一下这个量大的 topic ，这个 topic 后续会下线掉。
@ZZ74 其实就是应用部署在云上有多个实例，每个实例在创建的时候都会尝试去创建 consumer 获取分区。由于都是用同一个消费者组，最终也就只有 topic 分区数的实力能够获取到该 topic 的其中一个分区，我这样理解是没问题的吧？

320 天前

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@ZZ74 谢谢大佬提供思路。我的想法是，只需要计算好 topic 对应的分区，多实例消费 topic 的时候，只有获取到分区的实例才能消费到数据。计算一下分区数*限流量应该就可以得到想要的结果了吧？

320 天前

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@wqhui 没错，就是大佬你说的意思。目前我考虑到通过使用限流器来限定特定的 consumer 1 秒只 poll 一次

320 天前

回复了 Tongwin 创建的主题 › Java › Java 消费 Kafka 如何精确控制部分 consumer 的消费速率？

@codedreamstar 不好意思之前没讲清楚，创建内存的线程池主要是为了异步处理消费者数量，consumer.poll 是不受内存线程池影响的。
@diagnostics 感谢提供思路，我之前也有考虑过用 sleep 来控制 poll 的次数，但考虑到实例多、消费 Topic 数量多等复杂情况，没有深入了解就用 sleep 感觉不太稳妥。
@lsk569937453 不好意思没有表达清楚需求。由于存量 topic 推送过来的数据量并不大，因此目前并没有做任何限速处理，现有应用就是尽可能地去消费很多数据（依赖线程池异步处理 record)。然后新 topic 由于数据量远远大于存量 topic 的数据量，如果不作消费限制的话，对于后续的业务处理是有着极大的压力和风险的。

345 天前

回复了 zapll 创建的主题 › 推广 › 不过了, ChatGPT Plus 免费送

感谢

345 天前

回复了 zapll 创建的主题 › 推广 › 不过了, ChatGPT Plus 免费送

gwjdYQC7EsEoimvK35Y4ZD

354 天前

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

我也支持一下

354 天前

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

我也来支持一下