google 把网站添加评论的连接也抓了

[zarte]

加什么标识可以让它不爬取特定连接吗？话说为啥百度一个页面都不收录？

[silencefent]

nofollow?

[vinsony]

百度现在废物一个，蜘蛛都不怎么爬的

[airyland]

在 robots.txt 里 disallow，在 webmaster 里可以临时移除收录。

[hoyixi]

G 喜欢新站，给你机会，然后就看你内容水平怎么样了
B 是存量大佬的世界，增量如果不是土豪，基本歇菜

[hoyixi]

某链接不爬：
你模板里该链接加个属性：<a ref="nofollow"


生成站点 sitemap （自己开发，or 找工具生成，最后 sitemap 里面的链接，通常都是你网站文章的 url ），向谷歌提交

[ningfeng]

百度爬虫太懒了

[d5n]

百毒不需要爬虫，百家号自己内部数据库搜索