关于 robots.txt 的一点疑问

2016-01-11 21:33:35 +08:00
 le0rn0

php 或 jsp 站点,可通过 xxx.com/robots.txt 直接查看内容,这时候蜘蛛可以按规则来;

如果,像 django 、 flask 等,在 url 中没有定义,访问 xxx.com/robots.txt 就会返回 404 ,此时的 robots.txt 是否还有效?

若无效,是否要定义一个一个以 /robots.txt 结尾的 url 来使其生效?

有其他方法吗?

各位在做项目时是如何保护后台登陆地址的?(如防止搜索引擎收录)

Thanks EveryOne !

1819 次点击
所在节点    问与答
22 条回复
le0rn0
2016-01-12 13:38:14 +08:00
@msg7086 多谢,这要用来企业项目老板会疯的
le0rn0
2016-01-12 13:39:10 +08:00
@honmaple 多谢啦

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/249983

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX