baozaodexiaomila 最近的时间轴更新 baozaodexiaomila 最近的时间轴更新 |
baozaodexiaomilaV2EX 第 670690 号会员，加入于 2024-01-10 15:38:20 +08:00 |
| 要怎么实现快速爬取 1w 个网站呢？
1 程序员 • baozaodexiaomila • 3 天前 • 最后回复来自 snoopygao
|
7 |
| 接码平台-滑块验证码 程序员 • baozaodexiaomila • 2024-01-12 16:56:15 PM • 最后回复来自 retanoj | 1 |
baozaodexiaomila 最近回复了
4 天前 回复了 baozaodexiaomila 创建的主题 › 程序员 › 要怎么实现快速爬取 1w 个网站呢？ |
@Lockroach
谢谢大佬，我去找找看，这边要的是实现一个通用招投标采集系统，有点摸不着头脑，没有这么大量网站采集的经验
谢谢大佬，我去找找看，这边要的是实现一个通用招投标采集系统，有点摸不着头脑，没有这么大量网站采集的经验
4 天前 回复了 baozaodexiaomila 创建的主题 › 程序员 › 要怎么实现快速爬取 1w 个网站呢？ |
谢谢大佬，我去找找看，这边要的是实现一个通用招投标采集系统，有点摸不着头脑，没有这么大量网站采集的经验
29 天前 回复了 dbow 创建的主题 › 职场话题 › 搞爬虫的去面试了一下被爬的大厂 |
可是大厂不是也在招爬虫吗🤣
29 天前 回复了 bwijn 创建的主题 › Python › scrapy 的 item 队列把内存挤爆 |
理论上 pipeline 这里只做数据存储过程，其他业务相关的东西不应该对抓取的结果进行处理，先将 item 通过 pipeline 存到 mongodb 或者 redis 等数据库中，这里作为原始数据，后续的操作应当在 这个数据库上搞一个业务数据库来进行处理，就算不另外搞一个数据库，那么业务操作也应该开启新的进程去单独处理数据
Select Language