新人写博客，前天刚把删除功能做出来，今天一看被 google 爬虫全删掉了

还以为是谁发现我的地址了，恶作剧给删了呢，一看 nginx 日志才发现
![]( )
应为正在搭也没人知道，就暂时没有做登陆权限什么的，结果被 Google 坑了一把，还好大多都是测试数据只有几篇自己写的。

kba977

2017-01-22 15:57:22 +08:00

哈哈哈，坐稳了，送你上今日最佳

Cabana

2017-01-22 16:04:29 +08:00

@isCyan 没写过前端，页面都是用的 v 友写的前端框架，也是懒 delete 请求还要另外写 js 代码就没搞，直接一个 url_for()就完了

Phariel

2017-01-22 16:19:15 +08:00

哈哈哈， 4 月 1 日可以搞个这种恶作剧，让写爬虫算法的大牛开始怀疑人生。

xcatliu

2017-01-22 16:27:32 +08:00

笑出声了哈哈，感谢楼主带给我们快乐

gy911201

2017-01-22 16:34:24 +08:00

用 GET 设计请求，除了爬虫意外，浏览器的预缓存功能也会坑你一把
之前也是有个人用 GET 请求做删除，他看哪一页哪一页就被删……他还以为是灵异事件呢……

colorfulberry

2017-01-22 16:36:09 +08:00

哈......哈.......哈，我是闪电

dozer47528

2017-01-22 16:39:47 +08:00

Google 一脸懵逼：
页面呢？我刚刚才爬过的页面呢？？？

lzsadam

2017-01-22 16:39:50 +08:00

/笑 cry

楼主的数据还在么？

bearqq

2017-01-22 16:40:45 +08:00

爬虫表示：我爬的文章呢，刚刚还在这儿的
http://www.biread.net/data/attachment/forum/201601/07/121956jm7mx4fh7bxobjj2.jpg

讲真，我写的博客没有做删除功能，只做了隐藏功能。

songsong

2017-01-22 16:44:29 +08:00

在网站根目录建个 robots.txt
写上
<pre>
User-agent: *
Disallow: /
</pre>

songsong

2017-01-22 16:44:49 +08:00

在网站根目录建个 robots.txt
写上

User-agent: *
Disallow: /

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.