V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Oane
V2EX  ›  Python

天猫爬虫封禁 一个都不给我

  •  
  •   Oane · Mar 4, 2019 · 5366 views
    This topic created in 2610 days ago, the information mentioned may be changed or developed.

    爬取天猫评论,连第一个都没爬完就封了 想问延长休息时间有用吗? 代理池没有试过不知道有没有效果

    10 replies    2019-03-07 09:53:13 +08:00
    lhx2008
        1
    lhx2008  
       Mar 4, 2019 via Android
    先把浏览器特征做好吧,可以爬几页,然后是代理池,哪有这么容易。
    www5070504
        2
    www5070504  
       Mar 4, 2019
    代理池都不上的。。。
    shapl
        3
    shapl  
       Mar 4, 2019
    用浏览器插件的形式,让用户浏览器去爬。。
    当你的插件用户足够多,就行了。。
    fomeiherz
        4
    fomeiherz  
       Mar 4, 2019 via iPhone
    @shapl 具体怎么实现
    shapl
        5
    shapl  
       Mar 4, 2019
    @fomeiherz #4 chrome 插件吖。在用户浏览器后台运行就行了。
    lusi1990
        6
    lusi1990  
       Mar 5, 2019 via Android
    阿里反爬做的很好了,没个两个天搞不完,代理肯定要上,多个用户。httpbin.org 看看自己的请求和浏览器 差多少
    Johnson66
        7
    Johnson66  
       Mar 5, 2019
    评论是需要登陆 有 cookie 才能拿到的
    Johnson66
        8
    Johnson66  
       Mar 5, 2019
    延长时间有用~~
    ranlele
        9
    ranlele  
       Mar 6, 2019
    @lhx2008 浏览器特征 最主要做什么方面啊。
    cruithne
        10
    cruithne  
       Mar 7, 2019
    带着 cookie 进行请求吧,阿里系的都不好爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1040 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 23:19 · PVG 07:19 · LAX 16:19 · JFK 19:19
    ♥ Do have faith in what you're doing.