requests 在并发太高的情况下 报错

2018-08-03 14:25:40 +08:00
 SpiderXiantang

也就开了 32 个线程这样，爬一会就疯狂报错 然后把并发改为 10 之后就可以正常爬了

requests.exceptions.SSLError: EOF occurred in violation of protocol (_ssl.c:645)

还有个问题：爬虫插入 mysql 的策略是什么？ 一定数量批量插 还是一条一条插 感觉一条条插在高并发的情况下十分不稳定

3541 次点击
所在节点    Python
8 条回复
xxxy
2018-08-03 15:30:14 +08:00
貌似是 openssl 的限制？
lhy360121
2018-08-03 15:36:59 +08:00
批量插
lllllllllllllll
2018-08-03 16:07:31 +08:00
pip install 'requests[security]'
nu11001
2018-08-03 16:19:43 +08:00
试试异步 aiohttp
SpiderXiantang
2018-08-03 17:10:05 +08:00
@xxxy 后来我发现 我开并发为 10 的情况下也会报错
SpiderXiantang
2018-08-03 17:10:14 +08:00
@lllllllllllllll 我试试
luguhu
2018-08-03 21:30:57 +08:00
@SpiderXiantang 你好，我也遇到这个问题。请问解决了吗？
SpiderXiantang
2018-08-04 15:44:30 +08:00
@luguhu 安装 requets[security]

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/476580

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX