这是一个创建于 3264 天前的主题，其中的信息可能已经有所发展或是发生改变。
实验室有项目需要豆瓣电影的数据，所以写了一个爬虫爬了一下。
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
目前抓到了约 12.5W 个条目，不知道这个数目是否靠谱？
第 1 条附言 · 2015-12-24 09:37:27 +08:00
目前已经抓到 16w 条目，来源有两部分：
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
1. 热门标签
2. 观影量较多的用户
目前来看第二种方法能够收集到更多的数据，因为很多影片是无法通过标签页查看到的（一个极端的例子： http://movie.douban.com/subject/11598908/）
最后有大神要是抓到更多，可以在本帖留言告诉我！
 |
1
Orzpls 2015-12-22 11:30:56 +08:00 via Android
应该不止，如果豆瓣收录全了，每年全球电影有几千部吧。
|
 |
2
ieliwb 2015-12-22 11:45:28 +08:00
估计要 x10 吧,哈哈
|
 |
3
undeflife 2015-12-22 11:50:17 +08:00
你居然能爬豆瓣 12 万多条目？我浏览器开电影详情页开快了就让我输验证码了,死循环的输...
|
 |
5
trepwq 2015-12-22 12:52:05 +08:00 via iPhone
不止吧，豆瓣有不少 imdb 没有的分级电影，还有些根据政策不与显示的
|
 |
6
qian19876025 2015-12-22 13:11:42 +08:00
这就不是盗版 ？
|
 |
7
ceoimon 2015-12-22 14:05:39 +08:00
|
 |
8
wibile 2015-12-22 14:18:28 +08:00
豆瓣有好多电影不显示了，不清楚为什么。能搜索到，点详情就提示不存在。我也爬过。。。
|
Select Language