@XiaoxiaoPu 我还真以为国家看上了每个人的“三瓜俩枣”了，他看不上的话，不如免收工薪阶层的个税？

@sinkdwt 说了下不了床

这 tm 都是月经贴了吧？
不讨论楼主自身水平如何、做法对不对，反正如今还在维护“粘包”这个说法的都是傻 B，欢迎互 B。

@cmdOptionKana 键盘侠真是站着说话不腰疼啊，站在道德高地上指责别人是最简单的，漂亮话谁不会说？
试想你的父母跟你没有任何沟通的情况下，就通知你说他们有二胎了，你能接受？
冠冕堂皇地说父母的决定和自己没有关系，显得自己好像很独立，但只要是血亲，怎么可能没关系？父母后半生的赡养，未来这个孩子的抚养，都是和你的关系。
你说没关系，那你自己的娶妻生子、在哪定居买房等人生大事，也都不用和父母商量吗？你看看父母会同意吗？那时候你再去和父母讲讲你这些大道理？

这个抽奖够透明公开👍

linux 没有统一的文件管理器，每种文件管理器添加 context menu 的方法都不一样，还是别折腾了…

总结:您配吗？

@corefx 好好看看楼主的问题？

@allenloong mysql 应该就可以。
spark 之所以这么搞不行是因为 spark 是把所有数据都加载的内存里处理的，而数据库是把数据存磁盘的。
如果你有 hadoop 集群的话可以用 spark 这么做。

@allenloong 依次导入每个文件为一张表，然后 join 导入的表，保存成中间表。跟你现在的流程一样。

@allenloong spark 惰性运行的，合并操作可能没有立即执行而是在写结果的时候才执行。
你这问题可能是合并时内存就不够。

用 saveAsTextFile 保存到 hdfs 文件夹(yarn 集群)或者本地文件夹(local 模式)，然后直接 cat 把文件夹下所有文件写入一个文件就行了(要去除表头行)。
或者用 toLocalIterator 方法，把数据都收集到 driver 上然后写入到一个文件里。

比如 gunicorn 的-w 10 -k sync 和 celery 的-c 10 -P prefork 是等价的，都是创建 10 个进程去做并发，并发度最高就是 10。

再例如 celery 的-c 10 -P gevent 表示创建 10 个 gevent 协程去做并发，最高并发度也是 10。而 gunicorn 的-w 10 -k gevent，表示的是创建 10 个进程，且每个进程都是 gevent 异步的，这个并发度就很高了。

@dwadewyp
celery 里面的-c 参数指定的是并发度，而-P 参数指定并发的实现方式，有 prefork (default)、eventlet、gevent 等，prefork 就是多进程的方式去实现并发。
你理解的多 worker 对应到多个进程，每个 worker （进程）自己内部还能并发是 gunicorn 的方式。gunicorn 的-w 参数指定有几个 worker （即几个进程），-k 参数指定每个 worker 的并发方式，可以是多线程或者多协程，也可以指定为 sync，表示 worker 是同步的，即不能并发。

celery 没有单 worker 的并发吧，它的并发就是靠多 worker 实现的。
gunicorn 是多 worker，且单 worker 可以并发的。