10 台服务器,如何在最短时间内爬取 5000 条商品价格?

2022-08-10 14:19:02 +08:00
 StarXing

有 5000 条固定的商品需要不停的更新价格,现在手上有 10 台服务器。

是不是这样实现更好: 服务器 1 去爬取更新时间最久的一条商品,服务器 2 去爬取倒数第二条商品? 就是不知道如何解决服务器同时都更新最后一条的问题。

如果要这样实现,需要怎么做? 网上搜了下,分布式爬虫,消息队列,redis 都感觉有点麻烦?

因为时间急,所以问问有什么简单的解决方案。 小弟做 Android 的,不太懂爬虫技术,不知道描述清楚没?

之前我是把数据分成十块,每块 500 条商品,然后每个服务器就更新那 500 条,感觉还是有点慢, 用的 Jsoup 爬取。

谢谢。

745 次点击
所在节点    程序员
1 条回复
StarXing
2022-08-10 18:56:23 +08:00
为啥看不见我的帖子?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/871921

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX