百度Spider已经在抓取ajax内容了?

2012-05-31 14:43:36 +08:00
 richiefans
今天看日志
222.73.181.15 - - [31/May/2012:10:00:04 +0800] GET /api/related_articles.php?contentid=2550559 HTTP/1.1 "200" 5 "http://www.xxx.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.73, 118.180.6.72, 222.73.181.15"


/api/related_articles.php?contentid=2550559

这个请求是放在js文件内 ajax的~

有朋友对这个有关注么?
4606 次点击
所在节点    分享发现
9 条回复
skywinger
2012-05-31 14:47:39 +08:00
百度的spider亮了。
alexkh
2012-05-31 14:50:31 +08:00
是会抓取的,他会把JS中的路径抽取出来,用以发现新页面,百度站长俱乐部中lee之前也说过这个。不过暂时观察是用于找到新页面,尚未发现用于传递权重。
richiefans
2012-05-31 14:53:21 +08:00
@alexkh 原来如此 不过js解析能力还行啊 参数都拼上了
在js内的代码是
$.ajax({
type: "GET",
url: "http://www.xxx.com/api/related_articles.php",
data: "contentid="+$("#data_contentid").val(),

success: function(data){
$("#related_articles").html(data);
}
});
lyxint
2012-05-31 15:22:10 +08:00
referer怎么是xxx, 有点和谐啊
alexkh
2012-05-31 15:36:50 +08:00
@richiefans 那是,百度也做浏览器的。搜索引擎还会解析CSS,用于判断页面元素的重要程度。
seerhut
2012-05-31 15:43:32 +08:00
baidu的spider会用gecko渲染页面,也会模拟点击,ajax什么的无压力。
samuel
2012-05-31 15:54:34 +08:00
@seerhut sunhao是不是,哈哈
seerhut
2012-05-31 16:13:22 +08:00
@samuel duanmiao么。。。。
samuel
2012-05-31 21:31:39 +08:00
@seerhut 没错儿,世界真是小啊哈哈

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/37940

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX