Python 获取最新代理的模块

2016-07-25 21:00:20 +08:00
 MyFaith

配合 requests 使用效果更佳:D

安装

pip install proxies

OR:

git clone https://github.com/MyFaith/proxies
python setup.py install

使用

import random, requests
from Proxies import Proxies

p = Proxies()
p.get_proxies(20, 1)
# quantity: 数量
# type: 类型 (1.国内高匿代理 2.国内普通代理 3.国外高匿代 4.国外普通代理)
result = p.get_result()
proxy = random.choice(result)
requests.get('x.com', proxies=proxy)

https://pypi.python.org/pypi/proxies

https://github.com/MyFaith/proxies

3173 次点击
所在节点    分享创造
11 条回复
chroming
2016-07-25 22:15:43 +08:00
感谢分享
GreatMartial
2016-07-25 23:52:34 +08:00
这个好! 谢谢分享,收藏了
Asimov
2016-07-25 23:54:16 +08:00
什么原理?好东西别被滥用了
8023
2016-07-26 00:24:12 +08:00
@Asimov
瞄了一眼代码, 应该是只 Python 爬虫, 爬快代理上面的免费数据, 滥用是肯定的, 但还是要感谢 up 主. 已 star.
killerv
2016-07-26 14:35:25 +08:00
快代理上面的貌似可用性很低,收费版的也是一样
hl
2016-07-27 17:23:54 +08:00
@killerv 一般都哪些代理可用性可以的?最近也想做一个爬虫维护一个长期的代理数据库
killerv
2016-07-27 17:39:24 +08:00
@hl http://www.xicidaili.com/ 这个好像还不错,一些免费的代理也可以用,多的我也不清楚了,以前写爬虫的时候买的收费的。
SuperFashi
2016-07-27 19:44:23 +08:00
感觉楼主完全把 proxies 这个 package name 浪费了啊。

只有 http 代理且只有快代理一个源,这未免从可用性上来说太低了吧。

至少也得多来点例如 http(s), socks4/5 各类的代理+各种来源。

使用 gevent 协程和把 url 写死都是败笔,莫非是只想更新这一版吗?
MyFaith
2016-07-27 20:10:02 +08:00
@SuperFashi 那天晚上突然的想法,用 10 分钟写出来的,后续会完善的。
Nanguage
2016-07-29 12:30:06 +08:00
先赞一个,刚才看了一下快代理那个网站,我觉得可以添加根据相应速度筛选的功能
fengjianxinghun
2016-07-30 16:39:54 +08:00
这个,只依赖一个源?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/294867

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX