关于 requests 的 timeout 的疑问

[JianBingXia]

仔细看了下 requests 的官方文档,其中特别注明

"timeout 仅对连接过程有效，与响应体的下载无关。 timeout 并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时）"

现在遇到一个网站,响应时间非常快,但是"响应体的下载"非常慢,估计是防封策略故意设置的,这样我该如何应对呢?求老司机.

[cxh116]

比如你抓取某台国内机器的资源，因为是在国内，所以建立连接很快，但它带宽只有 1M ，所以下载响应体很慢。

[cloverstd]

request 支持 stream 的方式，自己分片读，然后判断是否超时

[JianBingXia]

@cxh116 现在就是响应体下载很慢,想设置一个超时,应该怎么做呢?

[JianBingXia]

@cloverstd 如果我想设置一个针对响应体的超时怎么办呢?

[cloverstd]

@JianBingXia

http://docs.python-requests.org/en/master/user/advanced/#streaming-requests

started_time = time.time()
timeout = 60

r = requests.get('http://httpbin.org/stream/20', stream=True)

if r.encoding is None:
r.encoding = 'utf-8'

for line in r.iter_lines(decode_unicode=True):
if time.time() - started_time > 60:
print "timeout"
break
if line:
print json.loads(line)

[JianBingXia]

@cloverstd 感谢~~~,难为了我一下午的问题貌似有着落了,ORZ

[ibigbug]

timeout 可以设置 tuple 的， http://docs.python-requests.org/en/master/api/

看文档啊，少年。

[ibigbug]

@cloverstd 这个路子好野。 60 是拍脑袋出来的? 万一 10s 服务端就把连接关了呢。

[cloverstd]

@ibigbug 这个只是举个例子可以这样玩

要是服务器端关闭了，这个迭代器应该是会抛出异常的

[wjhjd163]

@cloverstd 但实际上它并不会抛出异常，至少我断网了 10 分钟还是正常的