Python 获取最新代理的模块

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 3072 天前的主题，其中的信息可能已经有所发展或是发生改变。

配合 requests 使用效果更佳:D

安装

pip install proxies

OR:

git clone https://github.com/MyFaith/proxies
python setup.py install

使用

import random, requests
from Proxies import Proxies

p = Proxies()
p.get_proxies(20, 1)
# quantity: 数量
# type: 类型 (1.国内高匿代理 2.国内普通代理 3.国外高匿代 4.国外普通代理)
result = p.get_result()
proxy = random.choice(result)
requests.get('x.com', proxies=proxy)

https://pypi.python.org/pypi/proxies

https://github.com/MyFaith/proxies

11 条回复 • 2016-07-30 16:39:54 +08:00

chroming

2016-07-25 22:15:43 +08:00

感谢分享

GreatMartial

2016-07-25 23:52:34 +08:00

这个好！谢谢分享，收藏了

Asimov

2016-07-25 23:54:16 +08:00 via Android

什么原理？好东西别被滥用了

8023

2016-07-26 00:24:12 +08:00 via Android

@Asimov
瞄了一眼代码, 应该是只 Python 爬虫, 爬快代理上面的免费数据, 滥用是肯定的, 但还是要感谢 up 主. 已 star.

killerv

2016-07-26 14:35:25 +08:00

快代理上面的貌似可用性很低，收费版的也是一样

2016-07-27 17:23:54 +08:00

@killerv 一般都哪些代理可用性可以的？最近也想做一个爬虫维护一个长期的代理数据库

killerv

2016-07-27 17:39:24 +08:00

@hl http://www.xicidaili.com/ 这个好像还不错，一些免费的代理也可以用，多的我也不清楚了，以前写爬虫的时候买的收费的。

SuperFashi

2016-07-27 19:44:23 +08:00 via Android

感觉楼主完全把 proxies 这个 package name 浪费了啊。

只有 http 代理且只有快代理一个源，这未免从可用性上来说太低了吧。

至少也得多来点例如 http(s)， socks4/5 各类的代理+各种来源。

使用 gevent 协程和把 url 写死都是败笔，莫非是只想更新这一版吗？

MyFaith

2016-07-27 20:10:02 +08:00

@SuperFashi 那天晚上突然的想法，用 10 分钟写出来的，后续会完善的。

Nanguage

2016-07-29 12:30:06 +08:00 via iPhone

先赞一个，刚才看了一下快代理那个网站，我觉得可以添加根据相应速度筛选的功能

fengjianxinghun

2016-07-30 16:39:54 +08:00 via iPhone

这个，只依赖一个源？