萌新发问：那些 B 站小红书的大数据分析工具，数据是怎么采集的？

[oukichi]

网站截图.png ，懒得点连接的朋友直接看截图就好

类似于这种网站，明显是把所有数据都爬了下来

https://xz.newrank.cn/

如果只是普通的爬虫的话，上千万个页面岂不是要爬到死？ 还是说他们是 N 台机器一起爬？

我从没碰过爬虫，所以想在这里问一问，知道 V 站大神多，谢谢各位啦

[EsWann]

都是集群爬虫啊

[gaobh]

无头浏览器，虚拟机等等

[justfun]

爬虫会涉及到法律问题 听别人说是买的官方数据

[JustZzer]

爬虫做的，相对购买数据爬虫成本低，除了榜单和热销数据，其他的适当控制请求量级即可