一般情况下，写爬虫怎么抓取 AJAX 这种动态网页？

[LetFoxRun]

比如，我想写个爬虫登录北邮人论坛，地址： http://bbs.byr.cn/

我抓包发现登录地址为： http://bbs.byr.cn/user/ajax_login.json

为什么这个登录地址状态码为200，但是网页打开后是空白？

如果我想爬虫登录此网站，应该怎么处理？

不会JS/AJAX，需要学的比较多，谢谢。

[laozhao0]

你好，这边可以实现北邮人论坛信息的抓取，水木清华信息爬取也是可以的，示例 http://huntinfo.sinaapp.com/ 。用的是Jsoup 。不需要登录。

[LetFoxRun]

@laozhao0 你是北邮的学生吗？

[laozhao0]

@LetFoxRun 不是。