又来个爬虫小偏方:修改 referer 绕开访问控制

2018-12-07 16:30:00 +08:00
 yuanrenxue
有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
5302 次点击
所在节点    Python
38 条回复
largecat
2018-12-07 17:31:40 +08:00
谢谢楼主无私分享
paradoxs
2018-12-07 17:32:38 +08:00
爬虫怎么入门呢。
InternetExplorer
2018-12-07 17:34:36 +08:00
这不是基本操作吗
yuanrenxue
2018-12-07 17:38:27 +08:00
@largecat 多谢
yuanrenxue
2018-12-07 17:39:26 +08:00
@paradoxs Python requests 库用起来就入门了
zhangzilong
2018-12-07 17:46:51 +08:00
厉害了，老哥。我爬虫被封禁了好几天，用这招解决了。
yuanrenxue
2018-12-07 17:48:30 +08:00
@zhangzilong 你不是我的托吧， 老哥？
zhangzilong
2018-12-07 18:04:08 +08:00
真不是，老哥。正好看到了这篇文章，然后就试了下，完美解决。
kba977
2018-12-07 19:08:26 +08:00
这不是常规操作么，手动狗头
kosmosr
2018-12-07 19:13:49 +08:00
所以怎么修改 referer
ho121
2018-12-07 19:22:41 +08:00
修改 referer 确实是常规操作
Eirxxx69
2018-12-07 20:25:54 +08:00
需要用户权限的访问的网页也可以通过这个方法访问么
skylancer
2018-12-07 20:57:13 +08:00
老实说修改 referer 不是常识么...
tumbzzc
2018-12-07 21:22:27 +08:00
上面说用这招解决了问题的，只能说连入门都还没有入门
rootx
2018-12-07 23:15:52 +08:00
知道了 准备堵
agdhole
2018-12-08 00:20:23 +08:00
专门有 fake 库循环就完事了
yuanrenxue
2018-12-08 00:44:11 +08:00
@agdhole 那个不能生成 referer
yuanrenxue
2018-12-08 09:44:26 +08:00
@Eirxxx69 没法的
whatsmyip
2018-12-08 10:53:40 +08:00
感觉像是在逛博客评论区

楼主既然是来 v 站引流的，至少得放个摘要吧
Meli55a
2018-12-08 16:02:46 +08:00
很好

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/515406

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX