如何判断一个页面的一个部分由哪些 JS 组成?

2016-01-11 00:05:33 +08:00
 alexapollo

做爬虫时碰到了问题,求老司机

2623 次点击
所在节点    程序员
9 条回复
alexapollo
2016-01-11 00:08:33 +08:00
这个站点的 JS 还会 writeln 来引入其他的 JS ,有点厉害
xavierskip
2016-01-11 00:13:44 +08:00
halfcrazy
2016-01-11 00:15:28 +08:00
单纯 http client 请求到的 content 内容是原始的页面,(浏览器、 phantomjs )渲染解析之后多出来的东西就是 js 弄出来的。我是这么理解的,可以试着做一些下 diff 。
alexapollo
2016-01-11 00:20:03 +08:00
@halfcrazy 是的,但渲染一花资源(时间、 CPU ),二是没有很易用的库( python 下)
alexapollo
2016-01-11 00:20:56 +08:00
@xavierskip 可以解决最后获得了哪些 JS 的问题,但分析页面还是得花不少时间
bdbai
2016-01-11 00:23:30 +08:00
直接研究请求好了,会比分析页面更快一些。
FrankFang128
2016-01-11 01:22:01 +08:00
关系页面干啥
FrankFang128
2016-01-11 01:22:11 +08:00
关心页面干啥
zhenzhen37
2016-01-11 17:13:46 +08:00
f12

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/249767

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX