小网站每个月光是谷歌爬虫的 CDN 流量费用就要 30 元+？

[wyan453351466]

根据我后台的数据统计，谷歌的爬虫保守估计一天请求了我的网站 3 万次。

这还不算其他的一些搜索引擎的请求（ yandex 之类的）。

这个数据正常吗？

如果一个恶意爬虫，user-agent 冒充是 Google。这个有办法识别吗？

下面晒一下昨天又拍云的费用账单，光是欧美的动态资源加速费用就 1.64 元（我是大陆中文网站哪会有欧美的用户？）。加上 https 加速和 cdn 流量费用是 2 元多。按这个标准，每个月我要付费 60 多块钱给欧美的爬虫！

我的真实 PV 才 3000 啊（百度统计的数据）。每日动态资源请求次数居然可以有 8 万，你敢信？

所以现在是要限制一下谷歌爬虫的请求频率？这个谷歌官方应该有设置。

我想求教大家的是：

1. 如何准确的区分真实搜索引擎，和恶意爬虫？（ user-agent 判断貌似不靠谱）

2. 如何更好的反爬虫？判断一个 IP1 分钟、1 小时、1 天内的请求次数？

3. 更关键的是：我想求教大牛：有没有真实案例自己网站日均 PV10 万+的？开 HTTPS 的情况下，这样的网站一个月的 CDN、流量费用要多少钱呢？（ HTTPS 的 CDN 请求也要钱的！阿里云和又拍云的价格是：1 万次 0.05 元）

[wyan453351466]

@mcfog 大神啊！之前看到一些大网站这么做的。没往这方面想。谢谢啦

[wyan453351466]

@mcfog 那这么说首页其实也可以静态的。首页的内容每次刷新会变化，这个也可以用 js 异步获取。不过我多了解下 seo 方面有什么影响。即使不优化首页，其他页面全部静态化，也要减少很多的动态费用了

[huangunic0rn]

host 反解域名就行。带 Google 当然是谷歌

[wdlth]

国外的一般用云减速 CF 顶着，用网宿又拍什么的太壕了……

[woshinide300yuan]

哈哈，访问区域限制，只支持大陆？
然后关闭海外加速？
然后……根据 UA 限制一下抓取频率？
然后…… 解析到 127.0.0.1 /DOGE
哈哈~

[ericgui]

@kaer 请问您的网站是不是已经盈利了呢？每月开支这么大，否则撑不下去的吧？

[Technetiumer]

DNS 分區解析

海外 Incapsule 免費
國內 又拍

[mytsing520]

@woshinide300yuan 他的访问区域功能，默认情况下开启境外，即开启境外节点，这部分结算费用比较高；关闭境外后，境外访问该网站则只使用中国大陆节点，而不是境外禁止访问

[heat]

@kaer 日 PV30 万，每个月费用是你的二分之一……

[NowTime]

Google 等其它爬虫不会加载网页中的 js，所以你添加的 百度统计 代码，统计不到这些爬虫的访问记录。

[shakoon]

pv 3k 其实不用 cdn 也没多大问题，或者换个免费的好了

[boyxupers]

@shakoon 同感，小站上什么 cdn ？

[ss0xt]

怕不是上次你爬煎蛋，过分，有人来搞你了？（滑稽

[ninestep]

静态资源防盗链，爬虫爬你的静态文件干嘛，肯定是有人用你的静态资源了

[a1044634486]

感觉 33 楼说的有道理

[wyan453351466]

@ss0xt
@a1044634486

这件事我也不想再做太多的解释了。在遇到事情的严重性后，我已经在自己的网站下架了这个版块，并停止了对煎蛋的爬取。（仅凭我一个人一台渣渣服务器就可以对一个网站进行 ddos 攻击，那您真的是太高看我了）

[kaer]

@ericgui 不盈利早亏死了

[IzY]

@kaer 还接广告不，1w uv 提成 100

[mymuw]

试试这个 cdn 很便宜很稳定 www.kekaoyun.com

[lengyihan]

用免费的吧，