推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
chendajun
V2EX  ›  Python

境外服务器上部署爬虫抓 YouTube(下载视频), YouTube 会不会封 IP?

  •  1
     
  •   chendajun · Nov 2, 2016 · 12680 views
    This topic created in 3656 days ago, the information mentioned may be changed or developed.
    28 replies  •  2017-02-09 14:58:42 +08:00
    lslqtz
    lslqtz
    Nov 2, 2016
    1
    本人反代 YouTube ,然后用户就被验证码拦了
    terence4444
    terence4444
    Nov 2, 2016 via iPhone
    2
    每次打开会有验证码
    chendajun
    chendajun
    OP
    Nov 2, 2016
    3
    @terence4444
    @lslqtz
    YouTube 反爬比较严格,在阿里云香港服务器上部署了爬虫,刚开始可以抓一些。现在程序直接报错。
    21grams
    21grams
    Nov 2, 2016
    4
    封 ip 那是轻的
    chendajun
    chendajun
    OP
    Nov 2, 2016
    5
    @21grams 请问有 YouTube 具体的反爬技术介绍吗?
    majinjing3
    majinjing3
    Nov 2, 2016 via Android
    6
    @chendajun 可以尝试使用代理,建立个代理池,
    mudone
    mudone
    Nov 2, 2016
    7
    做爬虫代理池不应该是标配吗。。
    chendajun
    chendajun
    OP
    Nov 2, 2016
    8
    @mudone 1 ,代理稳定性一直是个问题(付费的 vpn 稳定性也很不好,一直在用付费代理), 2 , youtube 封 ip 是封死的。
    jimzhong
    jimzhong
    Nov 2, 2016
    9
    当然会
    Aspx
    Aspx
    Nov 2, 2016
    10
    代理池是标配
    ljcarsenal
    ljcarsenal
    Nov 2, 2016
    11
    gg 是世界上最大的爬虫公司 当然反爬技术也是炉火纯青了
    chendajun
    chendajun
    OP
    Nov 2, 2016
    12
    @ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ?
    ljcarsenal
    ljcarsenal
    Nov 2, 2016
    13
    zoudeze
    zoudeze
    Nov 2, 2016
    14
    表示 http://www.clipconverter.cc 一只很好用,干嘛要自己搞个什么东西爬视频~~~~
    shuang
    shuang
    Nov 2, 2016
    15
    一直用的它提供的 API 接口爬视频然后下载的,跑了很长时间了,貌似没被限制过 ip
    TKKONE
    TKKONE
    PRO
    Nov 2, 2016
    16
    以前爬过几千个视频,没有出现问题
    chendajun
    chendajun
    OP
    Nov 2, 2016
    17
    @tumbzzc 能具体说说你的方法不?
    hujianxin
    hujianxin
    Nov 2, 2016
    18
    爬 youtube 啥意思啊,如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊,我下载几百个视频都不会有别的问题的。也可能我不理解你的意思
    chendajun
    chendajun
    OP
    Nov 2, 2016
    19
    @hujianxin 客户需要 youtube 新闻类的视频,我是把 you-get 集成到程序中,爬虫拿到网页链接后交给 you-get 去下载视频,现在 youtube 把 ip 封掉了。
    wmttom
    wmttom
    Nov 2, 2016
    20
    youtube-dl 单 ip 下了十万个视频还没被封,可能是运气好
    annielong
    annielong
    Nov 2, 2016
    21
    有接口尽量用接口,只要不是特别频繁调用接口,一般不会封,但是模拟前台抓取页面这种,貌似会封的比较厉害
    chendajun
    chendajun
    OP
    Nov 2, 2016
    22
    @shuang 有相关文档不?
    TKKONE
    TKKONE
    PRO
    Nov 2, 2016
    23
    @chendajun youtube-dl 没被封
    eycfsjd
    eycfsjd
    Nov 2, 2016
    24
    不要随便传播哦,否则要喝茶的
    mingyun
    mingyun
    Nov 2, 2016
    25
    @zoudeze 这个不错
    alexapollo
    alexapollo
    Nov 2, 2016
    26
    google 和 youtube 这一套体系的反爬都比较完善,门槛比较高了,但要爬仍然能爬
    justyy
    justyy
    Nov 2, 2016
    27
    @chendajun https://weibomiaopai.com#api 能用上么?
    myself659410
    myself659410
    Feb 9, 2017
    28
    盯上 youtube 人太多了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2180 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 69ms · UTC 13:49 · PVG 21:49 · LAX 05:49 · JFK 08:49
    ♥ Do have faith in what you're doing.