@kuafou #33 只能导入之后，去重，再建索引，去重也非常慢，不过目前没有别的好办法。去重虽然慢，但是要远远快于提前建好索引的情况。

目录不一样，你 include 的是`include /etc/nginx/sites-enabled/*， 你的路径是 /etc/nginx/sites-enable/ 少个 d

@9yu #3 哈哈~~我又不买来干大事~~你这一下子打死所有 5K 以下的 vr 设备了

@Biwood #1 嗯呢呢 也欢迎大家来这带货，一起交流。

@lpts007 #4 把数据处理成文件，分好文件夹，并行的用 mongoinsert 导入了，主要是只有一个机器，mongo 性能确实数据量越大就越慢，没办法，导了很久。

那只能说明你身边的程序员都太鸡巴垃圾

我也蹲一个答案。
如果是想记录技术，选简书、CSDN 类中文博客网站就可以。

如果是想积累人气，提高知名度，建议写一份 markdown 然后各个平台发布一份。

github 配合 hexo 比较炫酷，只不过速度比较慢，编译之后放到自建网站的话，seo 不好做。这种方案 diy 比较自由，知名度比较难。

@v2exblog #30 没太明白，把数据分成 1 万份，不也需要每一份都去重吗。
@smallgoogle 共勉老铁。

@zhuifeng1017 #20
引用：用 mongoimport 导入 csv 或 tsv，重复数据会自动跳过的
这个你自己试过吗？我刚测试了，并不可以。

@wupher 是 之前考虑用分布式大数据存储之类的，最终机器限制，就没搞。

@JCZ2MkKb5S8ZX9pq #25 联合唯一索引，唯一指的就是 unique 。

@JCZ2MkKb5S8ZX9pq #22 先导入数据，然后添加唯一索引，被索引的字段如果有重复，这个索引就会建失败。

@zhuifeng1017 #20 啊 大佬，这个哪里有说明吗，真是这样就太好啦

@JCZ2MkKb5S8ZX9pq #17 三个字段的联合索引，目前使用 mongoinsert 导入数据，insert_one 和 insert_many 都比较慢，都放弃了。重复数据保留任何一条就可以了。

@wupher #15 确实是，感觉之前的不使用索引的方式也可以，只是下游取的时候得自己做去重了，而且增量订阅的时候，每次更新的数据量也越来越大了。

@zxlzy #11 放阿里云 aws 基本都是民口的。

@594duck #7 主要是目前只有一个机器，用关系型数据库会比 mongo 慢更多。mongo 不用联合索引每秒我这可以处理到大约 50 万条数据，关系型数据库单点的肯定做不到。

@billlee #8 查询用，之前不加联合索引是查询是很快的，两百亿数据查询，差不多 50ms 就能返回。

@jiangzhuo #5 你这个建议蛮不错的，以后遇到需求感觉可以这么试试，挺好。只是目前这部分数据价格比较高买的，不太想放到别人服务器。