V2EX › baozaodexiaomila 的所有回复

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

8 天前

回复了 baozaodexiaomila 创建的主题 › 程序员 › 要怎么实现快速爬取 1w 个网站呢？

@Lockroach
谢谢大佬，我去找找看，这边要的是实现一个通用招投标采集系统，有点摸不着头脑，没有这么大量网站采集的经验

8 天前

回复了 baozaodexiaomila 创建的主题 › 程序员 › 要怎么实现快速爬取 1w 个网站呢？

谢谢大佬，我去找找看，这边要的是实现一个通用招投标采集系统，有点摸不着头脑，没有这么大量网站采集的经验

33 天前

回复了 dbow 创建的主题 › 职场话题 › 搞爬虫的去面试了一下被爬的大厂

可是大厂不是也在招爬虫吗🤣

33 天前

回复了 bwijn 创建的主题 › Python › scrapy 的 item 队列把内存挤爆

理论上 pipeline 这里只做数据存储过程，其他业务相关的东西不应该对抓取的结果进行处理，先将 item 通过 pipeline 存到 mongodb 或者 redis 等数据库中，这里作为原始数据，后续的操作应当在这个数据库上搞一个业务数据库来进行处理，就算不另外搞一个数据库，那么业务操作也应该开启新的进程去单独处理数据