网站一直被人抓取采集,有什么好的解决方案吗

2012-01-02 00:50:12 +08:00
 moplay
有几个家伙不断的采集我们的网站,内容采集去我真的不是那么生气,就是他们经常开多线程,跑的我的小网站数据库慢的跟蜗牛一样。

没被采集的时候我们网站哗哗的,速度很好的,可是一有采集,那体验相当糟糕。

我怕我们会被这些家伙害死。

有什么好办法能制止吗?
2649 次点击
所在节点    问与答
16 条回复
9hills
2012-01-02 00:52:11 +08:00
封IP
peterlu
2012-01-02 00:53:24 +08:00
禁止ip。
moplay
2012-01-02 00:54:10 +08:00
@9hills windows有什么工具可以查到这些ip吗?说实在,我服务器知识非常缺乏。
moplay
2012-01-02 00:55:23 +08:00
请不要鄙视我们使用windows服务器,因为这是个.net的网站。
Julyyq
2012-01-02 01:01:35 +08:00
直接在IIS设置里面就可以封IP的。
for4
2012-01-02 01:02:04 +08:00
看访问日志~
evlos
2012-01-02 01:05:06 +08:00
@moplay 那可不可以鄙视你们使用.net? (开玩笑的嘿嘿 ~ o(* ̄▽ ̄*)
hq5261984
2012-01-02 01:06:05 +08:00
设置访问策略.WINDOWS在访问策略上其实够强大,只要你对域控制了解的够深,配合ISA完全够用就是服务器资源要大些.
kojp
2012-01-02 01:10:17 +08:00
日志里面会有的。。
ihacku
2012-01-02 01:11:53 +08:00
9hills
2012-01-02 01:14:12 +08:00
@moplay 如上所述,看IIS日志,在IIS设置里面封IP。具体的Google好了,IIS还是比较容易设置的。。。都是图形化界面

各种语言都有应用环境,如果你们站是baidu,taobao一样的规模,用.net,当然会招BS(好吧,其实多数情况下是赞叹,竟然能把.net优化到这种程度,nb死了)

但是.NET在中小型站点和企业内部站点有着很多优势,而且开发确实非常快速
moplay
2012-01-02 01:26:16 +08:00
@9hills 谢谢回复,封ip的操作应该会,就是监测不知道如何操作。

@kojp @for4 我想去看日志会得到一些有用的信息。多谢提醒。

@hq5261984 相关我去请教google吧,多谢了。
vibbow
2012-01-02 03:06:27 +08:00
@moplay http://technet.microsoft.com/en-us/sysinternals/bb897437
被采集的时候看看有哪个IP在大量链接吧。
glume
2012-01-02 07:40:47 +08:00
被采集其实利大于弊。我觉得内容做成静态的页面缓存更好些。
moplay
2012-01-06 22:09:09 +08:00
@vibbow 谢谢,这个软件不错,可惜只是即时查看,要是能做些统计就好了

@glume 为什么说“利大于弊”
vibbow
2012-01-06 23:30:28 +08:00
@moplay 看IIS访问记录吧,有工具可以分析的,Google一下吧。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/24830

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX