这是一个创建于 3437 天前的主题，其中的信息可能已经有所发展或是发生改变。
页面嵌套的iframe, 会处理UA,对搜索引擎让他去爬取iframe页面中的内容。
现在要在本地测试一下搜索引擎的爬取效果，有什么方法可以模拟吗？
现在实现的思路是：
用php或者python写一个指定UA的爬虫爬我的页面。不知道爬的结果和搜索引擎是否一样？
或者有没有比较好的工具或方法直接得到这个结果。
个人理解，应该是一样的，搜索引擎只是将页面爬取下来，然后再去分析。
 |
1
mrytsr 2015-07-31 23:23:14 +08:00 via Android
nginx.cnf
|
Select Language