当爬虫遇到防火墙

2016-11-26 08:52:26 +08:00
 tumbzzc

之前每天定时爬的网站，加上了金盾防火墙，然后首次访问会有,http://www.xxx.com/?jdfwkey=yyyyyy 就是会有 jdfwkey 这个参数。。。不知道大家爬虫有没有遇到这种情况？怎么解决。。。

4379 次点击
所在节点    Python
23 条回复
tumbzzc
2016-11-26 08:56:40 +08:00
啊！！！找到办法了！！！没有动手直接问果然不好！！！
Troevil
2016-11-26 08:57:10 +08:00
卧槽,我就这么打开了
czk1997
2016-11-26 09:07:59 +08:00
@Livid NSFW 以及这车有点快……
wjm2038
2016-11-26 09:24:48 +08:00
@czk1997 为啥我感觉只是他随便发的网站
annielong
2016-11-26 09:27:12 +08:00
记得不是一直有 key ，或者和其他网站记混了，反正我是连可以一起抓
tumbzzc
2016-11-26 10:18:21 +08:00
？？？？？
@czk1997
随便写的 xxx 能打开？？？
tumbzzc
2016-11-26 10:19:34 +08:00
我曹，还真的能打开！！！我只是作为示例写的网站地址
wdlth
2016-11-26 10:40:49 +08:00
@tumbzzc 经典域名，上学时我们学校刚接入 ADSL ，然后某领导为了试试怎么上网就输入了这个域名，然后……
Arnie97
2016-11-26 11:19:42 +08:00
@wdlth 笑死，居然真能打开
还是用 example.com 比较稳妥
czk1997
2016-11-26 11:20:47 +08:00
@wjm2038 看出来是瞎打的，可惜一不小心玩脱了……
merrygreek
2016-11-26 11:49:09 +08:00
老司机。
lixingcong
2016-11-26 12:56:27 +08:00
钓鱼贴 活捉老司机
razrlele
2016-11-26 13:01:16 +08:00
笑出声
nadoo
2016-11-26 13:16:11 +08:00
话说还经常在一些示例里面写 xxx.com ，看样子以后得小心了。。。
jalena
2016-11-26 13:20:45 +08:00
貌似必须开代理才能打开..
feather12315
2016-11-26 13:30:26 +08:00
笑…
Chappako
2016-11-26 13:35:30 +08:00
厉害了
sunulin
2016-11-26 13:38:43 +08:00
不小心点开了，，哥别闹可以不😣
DesignerSkyline
2016-11-26 13:40:52 +08:00
所以示例这种网址应该养成习惯，用 www.example.com
hard2reg
2016-11-26 16:53:36 +08:00
@tumbzzc 我曹打开了居然！

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/323400

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX