豆瓣电影有多少条目?

2015-12-22 10:41:55 +08:00
 maooyer
实验室有项目需要豆瓣电影的数据,所以写了一个爬虫爬了一下。
目前抓到了约 12.5W 个条目,不知道这个数目是否靠谱?
2440 次点击
所在节点    问与答
9 条回复
Orzpls
2015-12-22 11:30:56 +08:00
应该不止,如果豆瓣收录全了,每年全球电影有几千部吧。
ieliwb
2015-12-22 11:45:28 +08:00
估计要 x10 吧,哈哈
undeflife
2015-12-22 11:50:17 +08:00
你居然能爬豆瓣 12 万多条目?我浏览器开电影详情页开快了就让我输验证码了,死循环的输...
maooyer
2015-12-22 11:51:48 +08:00
@ieliwb 应该没这么多,我手头上美亚的影视的商品条目数才 20w 。个人觉得比较合理估计在 20w~50w
trepwq
2015-12-22 12:52:05 +08:00
不止吧,豆瓣有不少 imdb 没有的分级电影,还有些根据政策不与显示的
qian19876025
2015-12-22 13:11:42 +08:00
这就不是盗版 ?
ceoimon
2015-12-22 14:05:39 +08:00
http://www.imdb.com/stats

IMDb 目前收录的仅仅是 feature films 就有 34W 左右,豆瓣不应该差那么多吧(豆瓣电影应该也有收录短片)?
wibile
2015-12-22 14:18:28 +08:00
豆瓣有好多电影不显示了,不清楚为什么。能搜索到,点详情就提示不存在。我也爬过。。。
maooyer
2015-12-22 14:27:12 +08:00
@trepwq 这个的确。不少影片需要登陆后才能看到。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/245268

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX