类似于这种网站,明显是把所有数据都爬了下来
如果只是普通的爬虫的话,上千万个页面岂不是要爬到死? 还是说他们是 N 台机器一起爬?
我从没碰过爬虫,所以想在这里问一问,知道 V 站大神多,谢谢各位啦
1
EsWann 181 天前 1
都是集群爬虫啊
|
2
gaobh 181 天前 via iPhone 1
无头浏览器,虚拟机等等
|
3
justfun 181 天前
爬虫会涉及到法律问题 听别人说是买的官方数据
|
4
JustZzer 181 天前
爬虫做的,相对购买数据爬虫成本低,除了榜单和热销数据,其他的适当控制请求量级即可
|