有些生成的网页违反谷歌站长指南，但是又必须生成怎么办？

[tianxiacangshen]

功能是这样的，定位类网站，这个功能是根据用户提交的 ip 地址，查询相关 ip：

提交 IP A —— IP B，IP C, IP D,..... 每一个 ip 只能对应一个超链接，这样的话显然违反了谷歌不得大量自动生成重复内容的原则，但是又必须生成链接给提供给用户，请问这时候怎么办？写 robot 可行吗，会不会还是会被惩罚？

[taineric]

robots 然后服务器检测到谷歌爬虫就 404

[ferrum]

为什么要生成固定链接，每个链接地址是这种?ip=121.67.34.278 不可以吗？

[tianxiacangshen]

@ferrum 对 每条 url 都是 ?ip=xxx.xxx.xxx.xxx 这样的话每一个 ip 也是对应一条 url 啊，这样就导致大量不同的 url 对应的内容是一样的

[Joway]

直接 robots 掉

[Zzzzzzzzz]

只显示 x.x.x.0/24, 碰到 x.x.x.x 301 到 x.x.x.0/24 上?

robots 是可以禁的， 问题是 robots 里禁的 google 只是不索引， 不代表不爬不参权

给 robots 和用户针对性吐 404 对搜索引擎来说性质更恶劣了

其实没必要太考虑那份东西， 上古查同 IP 虚拟主机的 whois.webhosting.info 这么搞了十几年, 权重高的很, 别说还有 he、arin 之类的. google 这份东西的意义在于你被降权后能自己找个框把自己套进去， 而不是你做的时候把自己框死.

[tianxiacangshen]

@Zzzzzzzzz 我是发现了，谷歌面前千万不要挂羊头卖狗肉，谷歌不好忽悠啊，我之前没仔细去看站长指南，做了一个英文站，半年到 6000 IP 了，然后被谷歌手动操作了，我程序出了问题，不知道是不是别人搞的鬼，导致大量不同的 url 指向同一个内容，然后谷歌说大量重复网页，然后就把我手动操作了