页面嵌套的iframe, 会处理UA,对搜索引擎让他去爬取iframe页面中的内容。
现在要在本地测试一下搜索引擎的爬取效果,有什么方法可以模拟吗?
现在实现的思路是:
用php或者python写一个指定UA的爬虫爬我的页面。不知道爬的结果和搜索引擎是否一样?
或者有没有比较好的工具或方法直接得到这个结果。
个人理解,应该是一样的,搜索引擎只是将页面爬取下来,然后再去分析。
1
mrytsr 2015-07-31 23:23:14 +08:00 via Android
nginx.cnf
|