请问大量的数据收集常用的技术有哪些？

[lusin]

比如GOOGLE购物频道这样的，一般用什么技术实现呢？

[sohoer]

就是所谓的垂直搜索吧，
或者用采集器实现，
或者自己写
http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html

[docete]

你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。