页面嵌套的iframe, 会处理UA,对搜索引擎让他去爬取iframe页面中的内容。
现在要在本地测试一下搜索引擎的爬取效果，有什么方法可以模拟吗？
现在实现的思路是：
用php或者python写一个指定UA的爬虫爬我的页面。不知道爬的结果和搜索引擎是否一样？
或者有没有比较好的工具或方法直接得到这个结果。
个人理解，应该是一样的，搜索引擎只是将页面爬取下来，然后再去分析。
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.