遇到一个模拟用户浏览行为的需求,今天研究了一下 ghost.py ,似乎可以做到,但是不太完美。
看了一下目标页 network ,有时长统计,就是每隔几秒调用一次 jsonp 请求一个接口。还有一些用户行为检测,比如正常用户的点击量和页面访问时长和 pv,uv 的比值等等。
这样看来至少必须要支持 js 解析。一些简单的爬虫就不行了。直接用浏览器+脚本控制又太重。
问题来了,有没有更好的办法或者库可以用来写个类似爬虫的程序模拟用户的浏览行为。又可以支持js等的正常解析。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.