求教 python 采集挂了 Incapsula 的页面问题

[disonlee]

各位好，最近想采集一个网站，采用的是 urllib2 和 beautifulsoup 。然后发现这个网站挂了 Incapsula 这个 CDN ，和 Cloudflare 一样，访问主页 aaa.com 之后会在后面加入 aaa.com/?key302=80ebbaed9d&expire302=1465622987&keyjs=80ebbaed9d&expirejs=1465622987 这样的字符串。用 urllib.request 方法就会报 302 错误，请教这种情况下如何解决？ 十分感谢！

[kenX]

PhantomJS

[ioven]

requests 允许跳转

[disonlee]

@ioven 是允许跳转，我不太清楚这个 cdn 后面加的字符串什么策略， headers 也都伪装了，还是提示 too many loops

[xiaozhizhu1997]

@disonlee 加 key 是一种防御 L7(CC)攻击的方式。

[ioven]

@disonlee 应该与 CDN 无关，浏览器尝试打开，获取所有 headers 字段用于伪装，实在不行可以登陆后爬去

[disonlee]

@ioven 十分感谢指点 我去试试

[wujunze]

PhantomJS 这个是神器

[maxsec]

建议 livid 版规中禁止讨论爬虫抓取此类负能量的功能问题

[Verydiao]

@maxsec 爬虫并不直接等于负能量，看怎么用吧，你看刀子可以用来切水果也可以用来杀人，关键还是看用的人，爬虫有其存在的必要性。