写了一个小爬虫 遇到了两个关于 requests 和 openssl 的问题

[Anhedonia]

最近想写一个爬虫 用来去 ehentai 爬本子玩
结果发现 requests.get 这个方法在爬 url 的时候会报错

requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(54, 'Connection reset by peer'))

在网上查了一下 有人说是关于 OS X 自带的 openssl 版本太旧的关系
于是用 homebrew 去更新 openssl 结果在 link 的时候又爆出了错误
Linking keg-only openssl means you may end up linking against the insecure,
deprecated system OpenSSL while using the headers from Homebrew's openssl.
Instead, pass the full include/library paths to your compiler e.g.:
-I/usr/local/opt/openssl/include -L/usr/local/opt/openssl/lib

请问 1.requests 的问题跟 openssl 有关系么？
2.openssl 更新的问题怎么解决呀

[Ahri]

你要把报错的 URL 以及 Python requests 版本发出来。

[mansur]

把 verify 这个参数设置为 false 试试

[402124773]

如果只是想解决该问题，让爬虫正常工作，可以用 try catch 忽略这个错误，继续运行。

[Anhedonia]

@402124773 可是我要爬的就是这个页面啊
如果忽略了的话 那就爬不下来东西了呀

[402124773]

@Anhedonia
我以前的爬虫中出现过
requests.exceptions.ConnectionError: ('Connection aborted.', error(104, 'Connection reset by peer'))
但是出现时概率性的，并且概率很低，我就了循环和 try catch 忽略，然后就可以了

[annielong]

爬虫抓 ssl 不同环境总会有多多少少的问题，一样的 py 环境， win2008 就出问题， win7 没问题，

[Anhedonia]

@402124773 可是你是 104 我是 54 诶

[julyclyde]

问题是这跟 ssl 根本没关系啊

[Anhedonia]

@julyclyde 这就尴尬了

[Anhedonia]

@Ahri http://g.e-hentai.org/g/1007888/4e17fb376c/
随便 ehentai 上拿了个本子（无声发车

诺 就是爬不下来

[Ahri]

@Anhedonia 要你出错的 URL ，没人有时间在那慢慢找。 How To Ask Questions The Smart Way http://www.catb.org/~esr/faqs/smart-questions.html

[Anhedonia]

@Ahri 这个就出错了

[realityone]

你是不是没翻墙就爬了啊

[Ahri]

@Anhedonia 你这个不是 HTTPS ，跟 SSL 无关

[Yinz]

像是被反爬虫 reset 了连接？

[Sylv]

如果不是 https 的话和 openssl 没关系，出现 'Connection reset by peer' 错误大部分情况下是爬虫没有伪装好或者请求太频繁被网站服务器拒绝访问了。

[Anhedonia]

@realityone 翻了呀
终端也做了代理了

[Anhedonia]

@Yinz
@Sylv
UA cookie referee 全都做了 还是这么报错

[Sylv]

@Anhedonia 我这边什么都没设直接就能 get 200 成功，不过我是在国外，所以可能是墙或代理的锅。

[Anhedonia]

@Sylv 好吧 我尝试重新设置一下代理试试