V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
15399905591
V2EX  ›  Python

国外 http 代理库

  •  
  •   15399905591 · 2017-09-06 17:49:00 +08:00 · 9867 次点击
    这是一个创建于 2634 天前的主题,其中的信息可能已经有所发展或是发生改变。
    公司有个爬虫项目,需要使用指定国家的 http,找了好几个服务商都不太合适,主要都是国家太少,好不容易找到一家,研究了半天,结果对方说不支持 goole 的爬虫,我这边需要抓取 goole play。求大神介绍个服务商,跪谢!!
    第 1 条附言  ·  2017-09-07 10:19:21 +08:00
    需要指定国家的代理 IP,付费的也可以,每个国家至少得有几百个 IP,能支持大部分主流国家。
    34 条回复    2020-04-03 21:40:02 +08:00
    qq583708076
        1
    qq583708076  
       2017-09-06 17:57:44 +08:00
    国外的么
    yuanfnadi
        2
    yuanfnadi  
       2017-09-06 18:00:39 +08:00
    google ?
    15399905591
        3
    15399905591  
    OP
       2017-09-06 18:02:32 +08:00
    @qq583708076 是的,需要能指定国家的
    15399905591
        4
    15399905591  
    OP
       2017-09-06 18:02:54 +08:00
    @yuanfnadi 需要使用指定国家的 IP,抓取 goole 的内容
    nazor
        5
    nazor  
       2017-09-06 18:08:32 +08:00 via iPhone
    自己维护个池吧,我之前做的一个池,总计 8000 个 ip 左右,800 个可用 ip 还是有的,至于国家,那就离线 ip 库查一下,很快的。
    chinafeng
        6
    chinafeng  
       2017-09-06 18:12:10 +08:00
    什么国家呢 ?
    Soar360
        7
    Soar360  
       2017-09-06 19:15:33 +08:00 via iPhone   ❤️ 4
    google play 我爬过 而且很成功 可以拿到所有 sdk 版本的 apk 等
    代理 IP 搭车来一波
    https://proxy.coderbusy.com
    xiaozuo
        8
    xiaozuo  
       2017-09-06 19:17:30 +08:00
    需要什么国家,还有预算?
    ctsed
        9
    ctsed  
       2017-09-06 20:03:44 +08:00 via Android
    @Soar360 高匿普匿什么意思呢
    6IbA2bj5ip3tK49j
        10
    6IbA2bj5ip3tK49j  
       2017-09-06 20:04:13 +08:00
    如果是爬 Google Play,可以选择买特定国家的账号。账号锁区了之后,无论是哪儿的 IP,都是锁区的数据。
    KentY
        11
    KentY  
       2017-09-06 20:27:11 +08:00
    @Soar360 能获取中国大陆 ip 的代理吗?
    Soar360
        12
    Soar360  
       2017-09-06 20:39:03 +08:00 via iPhone
    Soar360
        13
    Soar360  
       2017-09-06 20:39:35 +08:00 via iPhone
    @xgfan 还是跟 IP 有关的 感觉 IP 的成本比锁区小好多
    Soar360
        14
    Soar360  
       2017-09-06 20:40:14 +08:00 via iPhone
    @KentY 大部分都是国内的 地址归属地不久上线 已经在开发中了
    Soar360
        15
    Soar360  
       2017-09-06 20:40:54 +08:00 via iPhone
    其实 我最初的做法是开多个 ssr,非常好用。
    KentY
        16
    KentY  
       2017-09-06 20:43:15 +08:00
    @Soar360 我想用脚本获取你最快的国内代理....访问国内网站用, 如果你的代理稳定的话. 目前用的网站一个个都关了.
    dsg001
        17
    dsg001  
       2017-09-06 21:06:44 +08:00
    公司项目应该有预算吧,买对应国家的 vps 或服务器,根据预算多绑些 IP
    cuebyte
        18
    cuebyte  
       2017-09-06 21:08:35 +08:00
    我发现 lz 就没打对过 google 这个词
    cuebyte
        19
    cuebyte  
       2017-09-06 21:09:15 +08:00
    对方当然不支持 goole 啦,你从来都没打对过(笑
    Soar360
        20
    Soar360  
       2017-09-06 21:16:11 +08:00 via iPhone
    @KentY 自用的话 付费的 ssr 会好很多
    Yeungsin
        21
    Yeungsin  
       2017-09-07 08:19:31 +08:00 via iPhone
    @nazor 借楼问下 ip 池初始的 IP 资源是网上公开的爬取的么?
    15399905591
        22
    15399905591  
    OP
       2017-09-07 10:03:20 +08:00
    @Soar360 那你的 google play 是区别国家的吗? 不同国家的排行榜都是不同的,google play 会先根据 IP 去确认语言的~
    15399905591
        23
    15399905591  
    OP
       2017-09-07 10:04:53 +08:00
    @nazor 这个量会比较少,我们这边抓取量每天至少是百万级的,这个 IP 数完全不够用,且需要大部分主流国家的 IP。
    15399905591
        24
    15399905591  
    OP
       2017-09-07 10:05:29 +08:00
    @xiaozuo 大部分主流国家都是需要的,具体费用可以去申请。
    15399905591
        25
    15399905591  
    OP
       2017-09-07 10:06:35 +08:00
    @xgfan 买账号肯定不行的,一个是抓取频率限制,且费用比买 IP 高多了。
    15399905591
        26
    15399905591  
    OP
       2017-09-07 10:08:23 +08:00
    @cuebyte 不要在意这么多细节,哈哈
    nazor
        27
    nazor  
       2017-09-07 10:08:54 +08:00 via iPhone
    @Yeungsin 是的,公开的可用率比较低,10%左右吧。
    15399905591
        28
    15399905591  
    OP
       2017-09-07 10:17:39 +08:00
    @nazor 朋友,有国外的 IP 么~~
    Soar360
        29
    Soar360  
       2017-09-07 11:15:02 +08:00
    @15399905591 肯定是按照 IP 区分国家的。
    Yeungsin
        30
    Yeungsin  
       2017-09-07 12:51:09 +08:00 via iPhone
    @nazor 再麻烦下,剩下的 ip 是通过脚本遍历 ip 验证是不是代理找出来的?还是有什么方法啊?机密的话就算啦。多谢!
    nazor
        31
    nazor  
       2017-09-07 13:17:41 +08:00
    @Yeungsin 这肯定要持续更新可用 IP 的,不过验证速度很快的,超时设置短一点即可。
    sunwei0325
        32
    sunwei0325  
       2017-09-07 23:40:25 +08:00
    试过 crawlera 吗
    15399905591
        33
    15399905591  
    OP
       2017-09-12 15:47:03 +08:00
    @sunwei0325 注册了没发激活邮件就没用了。。
    thomasRZ
        34
    thomasRZ  
       2020-04-03 21:40:02 +08:00
    www.rola-ip.site 不错,全球 210+国家 IP,支持 http/socks 协议。全部高匿名 IP 。爬过 amazon 。。。溜
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2693 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 12:16 · PVG 20:16 · LAX 04:16 · JFK 07:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.