求助，为什么 Requests 不能获取到知乎的页面？

[nlimpid]

>>> requests.get("http://github.com")
<Response [200]>
>>> requests.get("https://github.com")
<Response [200]>
>>> requests.get("https://www.baidu.com")
<Response [200]>
>>> requests.get("http://zhihu.com")
<Response [500]>
>>> requests.get("https://zhihu.com")
<Response [500]>

但是用 urlopen 可以，不知道为什么，求解。

[hebwjb]

header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"}

requests.get('http://zhihu.com',headers=header)
<Response [200]>

[sparkssssssss]

加个 headers 就可以了把

[nlimpid]

@hebwjb 感谢，但是为什么呢？

[zwh8800]

@nlimpid 一般网站都会检查 ua

[GreatMartial]

@nlimpid 有的网站要检查你的请求环境，你不模拟，就认定你是机器

[CosimoZi]

知乎现在防爬虫越来越严格了……之前我爬还不需要 headers 就能上。

[tobacco]

有现成的知乎爬虫： https://github.com/egrcc/zhihu-python

[nlimpid]

@tobacco 感谢，但我不是想做爬虫。