爬虫小偏方：绕开登录和访问频率限制

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2184 天前的主题，其中的信息可能已经有所发展或是发生改变。

在抓某 App 时遇到要登陆和单账号，单 IP 访问控制问题，没有太多账号和 IP，就研究了他家的几个产品，找到的一个绕开限制方法。https://www.yuanrenxue.com/crawler/crawler-tricks.html

账号

访问

偏方

绕开

4 条回复 • 2018-12-06 15:31:24 +08:00

yuanrenxue

2018-12-06 15:25:20 +08:00

来聊聊你还试过哪些小偏方

find456789

2018-12-06 15:27:09 +08:00

@live

forgetandnew

2018-12-06 15:27:57 +08:00

禁用 cookie，把'user_agent 写成某搜索引擎 bot

yuanrenxue

2018-12-06 15:31:24 +08:00

@forgetandnew 嗯后面算一个，不过禁用 COOKIE 后好些网站也不让访问了