百度抓取中文 URL 有问题?求大神专家指导!!

2014-10-21 13:37:44 +08:00
 fising
原来地址:/search?q= + urlencode(中文)

百度给抓取成:/search + urlencode(?q=urlencode(中文))

导致很多抓取错误 出现404页

请问如何解决?
2939 次点击
所在节点    问与答
23 条回复
Showfom
2014-10-22 13:06:26 +08:00
@fising 在哪里下载?
weboshr
2014-10-24 15:07:07 +08:00
@fising 带有"?"的链接禁止抓取
fising
2014-10-24 22:24:20 +08:00
@weboshr 禁止的话,就没几个页面能抓了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/140494

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX