Python 爬虫被屏蔽有好的办法吗？

[lixuda]

除了用 selenium 模拟外，其他还有好的办法吗？

[sunwei0325]

selenium 一般用来爬一些 js 搞上去的内容, 而不是解决爬虫被屏蔽的, 解决被屏蔽的方法一般是代理 ip 池, cookie 池, 随机 user-agent 等

[lixuda]

@sunwei0325 ip 没有封，user-agent 随机无效，只能打开浏览器访问就可以。

[leir]

什么网站？

[lixuda]

@leir 多 requests 几次 就被认为是爬虫，浏览器是正常的。http://www.ledsmagazine.com/articles/2018/04/lrc-s-mark-rea-will-lead-ul-circadian-lighting-task-group.html

[est]

技术不过关啊。。。。

[lixuda]

@est 是的

[huweic]

该有的 Header 都加上

[kimchan]

mark, 之前也是遇过一个网站, 用爬虫各种伪装了都不行, 用浏览器访问却可以. 最后也是只能用 selenium😂😂. 看看大神们有什么更好的方法

[lixuda]

@huweic 应该不是，selenium 我也要加载很久才可以获得。提早获得也是提升爬虫页面。

[magicO]

抓包看看浏览器访问时的包

[alen]

限速控制并发

[takato]

把并发间隔整形成高斯分布试试。

[wqzjk393]

顺便问一下，像斗鱼这种第一次爬就直接屏蔽掉，返回 404 的，该怎么处理？

[lixuda]

@alen 没有并发，就访问了 2-3 次就这样。并且间隔很久

[em70]

说明伪装得不像,一般防盗链就 user-agent 和 referer 两个参数来判断,这两个都不填,傻子都知道你是机器人

[lixuda]

@em70 我都说了，无用。selenium 我也要加载很久才可以获得真实页面

[wplct]

并不是学艺不精，看来一下这个网址的反爬确实很严格

[wplct]

各种加载 js 运行，懒得搞的话还是调用浏览器吧

[wplct]

如果是要请求较多的数据的话，记得保存 cookies 会比较好一些

[vtwoextb]

重启路由器 更换家里的动态 ip https://github.com/hizdm/dynamic_ip