新手尝试用 aiohttp 写了个爬虫

[nyxsonsleep]

然后发现 aiohttp 不走系统代理，但是 requests 是走系统代理的。 求问怎么设置可以让 aiohttp 走系统代理呢？

[locoz]

这其实是个锻炼自己看代码解决问题能力的好机会，requests 的代码很简单明了，你找到它的做法照抄一份用在 aiohttp 上就行了，不难的。

你看你这在 v2 上问，过了差不多一个小时了也得不到答案…而你要是自己会看代码，分分钟就完事了。

[learningman]

@locoz 要自己包装实现 CONNECT，好像也没那么简单。。。

[locoz]

@learningman #2 他这情况估计就是懒得设置代理而已，直接把读环境变量和注册表的那部分翻出来执行一下，然后传去填代理设置就好了。考虑复用的话就再简单封装个获取 session 对象的函数，不用搞那么复杂。（固定设备的话其实还有个邪道做法，直接用 Proxifier 让 Python 进程走代理...）

[so1n]

写爬虫不用 aiohttp 可以省很多烦恼

[wangyanyansg]

可以来我做的"技来技往 app”找个会爬虫的军师参谋来问问

[Liyiw]

https://segmentfault.com/q/1010000019432026
替你谷歌一下

[abersheeran]

@so1n 赞同，aiohttp 会有很多奇怪的问题。

[baobab]

@abersheeran 赞同，而且异步爬一个站点太快很容易被封 ip，这个坑走下去没完没了了。

[abersheeran]

@baobab 控制不了速度是你的问题不是异步爬虫的问题。

[baobab]

@abersheeran 求大神教我怎么控制速度

[nyxsonsleep]

@Liyiw 我是知道怎么设置 aiohttp 和 requests 的代理，但我不想设。我只是想他默认走系统代理

[nyxsonsleep]

@baobab 共用一个 session 可以设置参数控制连接数。另一个可以在 loop 循环中添加非异步 sleep 。