爬虫效率问题

[bestehen]

行业领域
不限
人工智能 区块链 大数据 医疗健康 教育培训 文娱传媒 消费升级 金融 电子商务 企业服务 VR/AR 旅游户外 餐饮业 房产家居 汽车交通 体育健身 生活服务 食品饮料 物联网 硬件 游戏 生产制造 物流运输 农业 批发零售 先进制造 社交社区 工具软件 服装纺织 建筑 开采 环保 能源电力 政务及公共服务 科研及技术服务

下面是 时间 一年的循环

这样 365 天*35 行业。在 selenium 点击 如何提高效率？ aiohttp ？ 如果是多台机器是是不是 dokcer+spalsh ？

[golmic]

如果考虑 selenium 或者 splash 的话就不要追求效率了

[bestehen]

@golmic 现在就是点击的，因为如果每天都点击 就是 365 天 再加上 35 个行业，数字很大，那么 chrome 吃不消的

[golmic]

建议分析一下请求...直接请求的方式做

[lhx2008]

35 个栏目又不多，开 35 个 chrome 就 ok

[bestehen]

@golmic 分析请求加密很麻烦的，企名片 短信登录什么的，很累

[bestehen]

@lhx2008 你的意思是可以用 aiohttp 做了！

[lhx2008]

@bestehen 你对 aio 有什么执念，我说的是多线程 /进程 selenium 直接干

[bestehen]

@lhx2008 你试过嘛

[xpresslink]

你都用 selenium 了就不要问效率的问题了。
你应该会 xpath 语法吧，要效率直接上 scrapy 之类，解析每个类别的 url，直接异步发送请求，要担心的不是效率问题了，而是别把人家 web 服务器给爆了。

[JCZ2MkKb5S8ZX9pq]

一直用的 requests，昨天试了下 selenium，结果被淘宝的滑块拦下了，唉。
搭车问问，有啥老版本的 ff 可以绕过 robot 模式嘛，主力用 chrome 不想降。

[bestehen]

@xpresslink 我是说 再 selenium 基础上提高效率啊。365*35 这个数字很庞大啊。还有就是 2 个 365*35

[bestehen]

@JCZ2MkKb5S8ZX9pq 滑块也可以 selenium 滑动的

[bestehen]

@lhx2008 那你的意思是标签分开点击啊

[beforeuwait]

能自己撸代码模拟的，为啥非要去 selenium 呢

[bestehen]

@beforeuwait 企名片 你去看看，纯接口难

[lt921002191]

能获取到请求就尽量获取请求，直接发请求效率最快