如何抓取瀑布流式布局的网页全文？

[assiadamo]

举个栗子，googleplay在加载时只加载一部分，剩下的要把滚动条脱到低端才会显示出来，现在要写程序来获取全部加载完的字符串，HtmlUnit和phantomjs都用了下，感觉不是很简单，可能对这两者还是研究的不够透彻，请问各位有什么基于这两种或者是其他更好的方法吗？

[williamwu]

如何抓取很多链接的网页全文呢？

比如汽车之家百科此链接http://car.autohome.com.cn/shuyu/index.html#pvareaid=103435左侧，每个链接对应一篇文章，我如何抓取每一个链接对应文章的正文部分呢？

[crab]

googleplay 可以直接post请求（指定开始页，多少页数。）

[icedx]

你俩是干啥

[assiadamo]

@williamwu 这个很简单，你是如何抓取到这个网页的就去抓取文章的url很容易得到正文啊，文章标题都会有相同的class吧，通过class可以获取url

[assiadamo]

@crab 我找到了post，但是response没有带样式看不出来。。

[abelyao]

直接用正则表达式匹配 response 中你要的内容。
我的站就是滚动无限加载的图片站，莫非楼主要抓我的…

[learnshare]

直接抓 API 地址

[halfcrazy]

分析js找接口

[cdxem713]

直接对api发请求就好了，这类异步网站都可以

[tingsoft]

@cdxem713 比如QQ空间呢？貌似没有API？