想请教怎么长时间连接 http 代理

2017-07-23 02:13:15 +08:00
 ericbize
用 python 爬虫连接 http 代理但是好像都是用一次连接一次

proxies = {'http': 'http://218.78.213.174:88'}
response=requests.post(url,headers=header,proxies=proxies,data=param)


大概代码就是这样


有什么方法可以长时间链接 http 代理 然后每次只要点击就可以了,谢谢。
3348 次点击
所在节点    Python
7 条回复
ysc3839
2017-07-23 04:43:18 +08:00
这应该跟 Connection Keep Alive 有关了,怀疑是因为 requests 不支持 keep alive ?
Trim21
2017-07-23 04:59:10 +08:00
@ysc3839 requests 应该是支持的,如果有大量请求会自动 keep-alive
lslqtz
2017-07-23 05:23:56 +08:00
既然自动那可能和时长有关?
我觉得不是自动吧
fuxkcsdn
2017-07-23 09:08:25 +08:00
用 session 才会默认添加 keepalive 的…
wwqgtxx
2017-07-23 11:17:51 +08:00
@ysc3839 requests 是支持 keep alive 的,但是必须在同一个 Session 实例中
ivechan
2017-07-23 15:26:42 +08:00
requests 文档原话:
"Keep-alive and HTTP connection pooling are 100% automatic, thanks to urllib3."
点进去,发现:"keep-alive is 100% automatic within a session! Any requests that you make within a session will automatically reuse the appropriate connection"
所以#4 #5 是正确的。
RLib
2017-07-23 16:50:15 +08:00
http 1.1 前的设计本来就是针对短连接优化的, 一般服务器在发完数据就主动 close 了, 你想保持也没用, 即便不 close 你发第二次请求也不会得到应答; 而 http 代理一个情况, 除非你走的 CONNECT 方式

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/377291

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX