V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
SummerSun
V2EX  ›  Python

爬虫代理 IP 推荐

  •  
  •   SummerSun · 2016-03-24 12:26:41 +08:00 · 7820 次点击
    这是一个创建于 3163 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近用一些网站上发布的免费代理 IP 来爬虫,但这些 IP 很多用了几分钟就失效了,变 bad proxy 了,有些甚至都不能用,程序经常因此中断。请问大家有没有稳定的代理 IP 推荐,就算淘宝上要钱也没事,最好能提供链接地址,谢谢。
    12 条回复    2017-07-27 13:08:48 +08:00
    daiv
        1
    daiv  
       2016-03-24 12:58:27 +08:00 via iPhone
    自己买 vps 搭建
    hufuman
        2
    hufuman  
       2016-03-24 13:09:56 +08:00
    爬虫如果要用代理 IP 的话,显然是需要大量的,自己搭建很容易被封。
    我们的做法是封装了个代理爬虫和下载模块,代理爬虫用来从各种地方抓代理,验证有效后放到数据库里。下载模块会从数据库里取代理 IP ,下载失败后再换 IP 。
    deben
        3
    deben  
       2016-03-24 13:15:03 +08:00
    我 google 之后找到一家卖代理的, 虽然包月用户是可以无限量的获取代理 IP, 但是一旦需求量大一点儿, 就开始重复, 数量和质量远远达不到要求啊.
    naomhan
        4
    naomhan  
       2016-03-24 13:37:55 +08:00
    最近自己的做法是批量去其他人那里爬免费代理,再自己写验证,相当于自己维护一个可用的代理池
    wwng
        5
    wwng  
       2016-03-24 14:09:34 +08:00
    淘宝动态 ip vps 你值得拥有
    esxivistawrt
        6
    esxivistawrt  
       2016-03-24 16:07:16 +08:00
    最好是挂 Tor 去爬
    hanbingtel
        7
    hanbingtel  
       2016-03-25 05:46:19 +08:00
    我有 爬虫的代理池,不过因为怕滥用,所以有一定的限制,如果需要,可以联系我 QQ302000008
    可测试,保证连接率!
    hadoop
        8
    hadoop  
       2017-02-01 23:53:29 +08:00
    @hanbingtel 国内还是国外的? socks 还是 http 代理?
    hanbingtel
        9
    hanbingtel  
       2017-02-15 01:55:58 +08:00
    国外的,基本都是 http ,少量 sock5.
    hanbingtel
        10
    hanbingtel  
       2017-02-15 01:56:37 +08:00
    @hadoop 如果是临时使用,可以找我,免费帮你下!
    dgivan
        11
    dgivan  
       2017-04-09 10:40:33 +08:00
    你可以用一些收费的代理
    比如阿布云代理 站二爷代理 云代理,等等
    niuoh
        12
    niuoh  
       2017-07-27 13:08:48 +08:00
    ip-chi.net ip 池代理 用过很不错
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4040 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:25 · PVG 13:25 · LAX 21:25 · JFK 00:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.