为禁止搜索引擎爬虫,之前写了个 robots.txt 文件放在网站根目录下
记得以前用站长工具测下来, robots.txt 怎么写的,那么测出来的就是相应内容
然而小于等于 1 个月前,开始发现测出来的 robots.txt 内容,不再是自己写的内容
前几天干脆删了 robots 文件,然后今天经工具测试,说是 robots.txt 依旧有效
顿时我莫名了……
异想天开的问题是: robots.txt 这文件,记得必须是上传在网站根目录下的?
既然我没加,别人应该不可能通过其他方式“替我”设置了 robots.txt 这玩意儿吧?
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.