如何抓取需要登录的整站点

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3105 天前的主题，其中的信息可能已经有所发展或是发生改变。

网站建在 amazonaws 里
但是需要登录, 这种情况如何抓取整个站点?

6 条回复 • 2015-11-09 19:35:01 +08:00

zivfun

2015-11-09 18:58:05 +08:00

post 登录数据，有验证码肉身登录后提取 cookie

2015-11-09 19:14:27 +08:00

@zivfun 有详细点的说明吗 ..............

2015-11-09 19:16:45 +08:00

@ts 小白一个啊

bdbai

2015-11-09 19:21:45 +08:00 via iPhone

去读读 HTTP 。

2015-11-09 19:27:03 +08:00

@bdbai @zivfun

大神求解

bdbai

2015-11-09 19:35:01 +08:00 via iPhone

@ts （假设你有能力抓取整站）
一般的登录检查都是靠 Cookie ，因此你可以用浏览器登录并获得用于认证的 Cookie ，将它交给爬虫即可。