首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
woshishuia
V2EX  ›  奇思妙想

大家敢不敢在 robots 里面屏蔽百度?

  •  
  •   woshishuia · 235 天前 · 6326 次点击
    这是一个创建于 235 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这里好像没有不骂百度,既然如此,为何不直接在自己的网站屏蔽掉它呢,加速他的衰亡(虽然就算不屏蔽百度也未必来收录你)?

    第 1 条附言  ·  235 天前
    唉,不知道李彦宏看到一群有价值的内容创造者,对百度的如此态度,心里会有什么想法……
    百度明明可以做的很好,偏偏选择了歪门邪道……
    38 回复  |  直到 2019-06-04 20:59:52 +08:00
    woshishuia
        1
    woshishuia   235 天前
    很多站长苦百度久矣,可是就是不会一起变被动为主动。
    sanshiliu
        2
    sanshiliu   235 天前
    屏蔽很久了,但是百度依然抓取。
    9151
        3
    9151   235 天前
    员工能代替老板做这种决定?
    hack
        4
    hack   235 天前
    屏蔽也无视的
    kios
        5
    kios   235 天前   ♥ 1
    君子协定 百度是不会遵守的 。要真想屏蔽 直接在 nginx 上 block 掉
    kindjeff
        6
    kindjeff   235 天前   ♥ 1
    xiri
        7
    xiri   235 天前 via Android   ♥ 2
    博客放在 Github Pages 上,不用我去屏蔽,Github 帮我屏蔽了🐶
    passerbytiny
        8
    passerbytiny   235 天前
    君子协定,屏蔽无用。倒不如在你的页面上加一个类似于“不欢迎百度”的提示。
    lzxgh621
        9
    lzxgh621   235 天前 via Android
    因为他根本不收
    Tink
        10
    Tink   235 天前
    屏蔽有用??
    est
        11
    est   235 天前   ♥ 1
    blog.est.im/robots.txt

    路过一下。
    msg7086
        12
    msg7086   235 天前   ♥ 3
    我根本不关心度娘的死活,为何要特地在 robots 里为他加上一段?

    (然后每次打开 robots 或者 nginx 文件的时候还要特地被恶心一次……
    mason961125
        13
    mason961125   235 天前 via iPhone   ♥ 1
    nginx 里配置百度的 referrer 直接 403
    kingfalse
        14
    kingfalse   235 天前 via Android
    想起了当年 360 强行抓某网站,
    lycc
        15
    lycc   235 天前 via Android
    早已屏蔽
    looking0truth
        16
    looking0truth   235 天前   ♥ 1
    个人站应该很多都屏蔽了吧 上次见过更狠的,百度跳过去弹窗数落百度的罪证
    sheeta
        17
    sheeta   235 天前
    @looking0truth coolshell 是这样的,哈哈
    trait
        18
    trait   235 天前 via iPhone
    实不相瞒,我把 Google 在内的所有爬虫全屏蔽了
    liuxey
        19
    liuxey   235 天前
    403 好评
    Lpl
        20
    Lpl   235 天前 via iPhone
    @mason961125 你这太暴力了,还不如跳到一个页面说明下更好
    zhttty
        21
    zhttty   235 天前
    @looking0truth 还不如把这个数落罪证的搞成开源页面(持续更新),后续凡是讨厌百度的开发者,都可以简单引入这个弹窗页,想想就爽。
    waterboy
        22
    waterboy   235 天前
    鄙人博客屏蔽一切搜索引擎
    haozi1986
        23
    haozi1986   235 天前
    早就用防火墙把我能找到的百度的 IDC 机房 IP 屏蔽了,可能有误杀,但我觉得可以接受
    为什么这么做,因为 nginx 日志里经常是几百行持续且相同的记录,来源全部是百度的 IP,耗我流量,不能忍
    jisibencom
        24
    jisibencom   235 天前 via Android
    我就屏蔽几年了。。。。
    turi
        25
    turi   235 天前
    当年就是遵守君子协议,然后淘宝壮大了。
    elfive
        26
    elfive   235 天前 via iPhone
    Robot 只是一个约定的规范而已,不一定要强制遵守,你觉得当百度要爬你的时候,你搞个 Robot 就够了??

    另外说一句,百度喜欢在国内时间凌晨 3 点爬我的站。后来我直接给他屏蔽了 ip
    leonme
        27
    leonme   235 天前 via Android
    不用百度都有优越感了,真是服~
    coolloves
        28
    coolloves   235 天前 via iPhone
    屏蔽掉百度等垃圾爬虫的 ua 啊
    shuirong1997
        29
    shuirong1997   235 天前
    @looking0truth #16
    @sheeta #17
    @zhttty #21
    https://i.loli.net/2019/05/31/5cf137a891b3a18730.jpg
    coolshell is cool

    搞事情!如果没人做的话,我来搞一个(这就搞)
    shuirong1997
        30
    shuirong1997   235 天前
    @shuirong1997 #30 原来 CoolShell 已经把那段代码放出来了,在这里: https://coolshell.cn/articles/9308.html 需要的同学自取
    shuirong1997
        31
    shuirong1997   235 天前
    arens
        32
    arens   235 天前
    多年前 3Q 大战还不少人罢用呢,现在不还活的好好的,网站和搜索引擎就是水和鱼,对产品平台有看法,可技术又没什么错
    JmmBite
        33
    JmmBite   235 天前 via iPhone
    别说 robots,IP 都 block 叻
    est
        35
    est   233 天前
    @Spcek 已知。 多谢
    Sapp
        36
    Sapp   231 天前
    不敢,我还要拿他测网速和搜贴吧游戏攻略呢
    Sapp
        37
    Sapp   231 天前
    哦,rebots 啊,那个都不用屏蔽了,反正我博客我自己都不看
    Ayersneo
        38
    Ayersneo   231 天前
    试了,屏蔽了一次,百度权重貌似下降很多
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1530 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 26ms · UTC 00:24 · PVG 08:24 · LAX 16:24 · JFK 19:24
    ♥ Do have faith in what you're doing.