Linux 多线程快速的 Condition waitting 方式

[heiher]

有个应用需要快速的处理网络上的数据包，对响应时间有着较高的要求。考虑到数据包处理上要花一些时间， 还是搞成了多线程方式，线程的模型是是 1 个生产者持有 1000 个buffer、10 个消费者（消费者之间是独立的无共享部分，每个消费者持有连续的 100 个buffer），要做的是当生产者向一个消费者所属的 buffer list 放入数据后，消费者线程要以最快的速度处理。实验中发现直接使用 futex 系统调用实现 wake 和 wait 也会存在生产了、消费太慢的情况。好像 pthread_cond_wait 就是使用 futex 实现的吧？

现在消费者不去 sleep，持续自旋查询 buffer 填充状态，其处理速度是可以接受的，但持续的 CPU 占用总觉得不合适？谁能给个解决方法呢？谢谢！

[SErHo]

你的自旋是怎么实现的，是不是将 buffer 当成循环数组，然后用类似无锁队列的模式来做的。

[heiher]

@SErHo 是的，有什么好办法吗？

[heimutuzhu]

pthread_cond_wait, pthread_cond_signal 做线程同步就可以搞定了。 好好看下这两api。 futex貌似更底层一点吧

[heiher]

@heimutuzhu 太慢了

[killgxlin]

会不会是读写buffer的时间太长了，所有数据是直接写到buffer里还是把存数据的内存的指针写到buffer里啊

[heiher]

这个问题解决了，不再使用一个专用的接收线程了（即生产者）。现在使用 Socket 的 fanout 模式，内核会自动把数据包调度到不同的线程上处理了。还使用了 zero-copy。

[heimutuzhu]

@heiher 你的问题修改了啊，不过从你的应用场景来看你这个实现思路有问题，消费者应该竞争所有的buffer,然后利用条件变量和锁来对消费者做线程同部。

[heiher]

@heimutuzhu 就在避免竞争。z z

[heimutuzhu]

@heiher 不竞争整体效率就不能达到最高， 因为不可避免地有些消费得快，有些慢。