想节省外网流量,把视频网站的视频缓存在本地服务器走内网流量,不知道具体怎么实现

2011-12-11 19:37:13 +08:00
 feiandxs
小区宽带,PPPOE拨号后再NAT到外网。出口流量挺大,主要占用是在视屏网站和P2P协议上。 P2P的暂时没想到解决办法,对视频网站的FLV流量部分,打算在小区出口上路由上旁路一台缓存服务器,路由上做针对80端口的策略,如果是视频,去缓存服务器上读,这样就把外网流量转化成内网流量了。
如果缓存服务器上没有缓存的视频,可以不走路由,直接由缓存服务器对外抓取进行缓存。如果缓存服务器崩溃,想切回到路由上继续走外网。
想法是这样,不知道具体实现上有什么方案可以参考的。求V2EX大神指点。
9227 次点击
所在节点    问与答
16 条回复
aveline
2011-12-11 19:59:13 +08:00
http劫持
9hills
2011-12-11 20:13:05 +08:00
以你们小区的人数,多个人看到同一个视频的概率很小吧,那么加缓存没有意义。如果你缓存服务器的硬盘能PK土豆优酷的硬盘,那么还有点意义。

P2P的问题,首先不能封,因为这是法律规定的,否则可以去工信部投诉ISP。限速也是不道德且违反协议的。

根本解决办法还是升级出口带宽或者提升宽带价格。
santa
2011-12-11 20:14:46 +08:00
squid的缓存?
AntiGameZ
2011-12-11 20:20:10 +08:00
目前我也有这种需求,不过我这里是园区网。既然你是运营商级别,最好的办法是和youku,tudou谈,能在你网内部做一个CDN的节点,是最好的办法。

视频点播服务的缓存,因为命中率的关系,真心意义不大。你可以先不要做实施,简单抓抓包,看看一下大家点播视频的习惯,能够有数。

至于P2P,不知道你是多大规模的小区宽带出口,如果下面带的节点在500以内,可以考虑用Panabit,多了就没法了,只能上高级的流控设备
feiandxs
2011-12-11 20:35:56 +08:00
@9hills 封到是没有封,虽然想节省成本,但至少不会在降低用户体验的基础上来实现成本压缩。视频部分,针对长尾的那些固然没有意义,但热点视频读取也许还会有一些价值吧。
9hills
2011-12-11 20:39:46 +08:00
@feiandxs 你知道视频网站一天有多少视频么,作为网络管理员,很容易你就可以分析出假如启用的缓存后缓存的命中率

缓存如果命中率很低的话没有任何意义。

另外我敢断言,对一个小区来说,缓存命中率会低的可怕。要是你是一个地区的运营商还有点价值,但那需要极大的硬盘空间,成本是很高的。
9hills
2011-12-11 20:49:30 +08:00
@AntiGameZ 限制P2P流量是不公平的行为,最少应在和用户的协议中体现出来。偷偷进行流量限制是不道德的行为。

参见的美国FCC的Net Neutrality原则,当然有人会说在中国不用吊美国法律,但这是一个趋势,而且在国内如果你没有在服务条款上写明的话,可以去工信部投诉你限制服务的。
loading
2011-12-11 20:55:04 +08:00
建立内部影视服务,把那些泡剧的吸引进来就结了。
mlhorizon
2011-12-11 20:55:14 +08:00
针对小区这么在做真的没啥意义。
还不如架一个内网的流媒体服务器,把热门的电视剧啥的都放上去。
mlhorizon
2011-12-11 20:58:22 +08:00
居然和楼上的同时发了同样的建议,缘分啊。
9hills
2011-12-11 21:00:05 +08:00
@loading @mlhorizon 这个方案靠谱~~架一套流媒体服务器很简单,但确实非常实用
Rice
2011-12-11 21:01:03 +08:00
嗯嗯,把热门电视剧都下载到一个服务器里、让小区居民自己看去
loading
2011-12-11 21:07:47 +08:00
要发现你的用户需要啥,而不是老想你需要干啥,就是如此简单。
gonbo
2011-12-11 21:18:32 +08:00
看到大家这么多的回答,国内应该专门的公司做这个方面的事情,劫持p2p协议,劫持http流量。以前也帮长宽做过这个方面的调研。所有流量走squid,还是会有一定的用,但是硬件成本会比较高,毕竟你要所有流量走一次squid。

现在流行的解决方案是,劫持http协议,看http后缀是*.flv *.exe *.rar 这种可缓存,而且永久不会改变的文件,就跳转到内部文件服务器。还是会减少一些流量,具体的没有调研,应该10%左右的流量能够节省到。
AntiGameZ
2011-12-11 21:52:15 +08:00
@gonbo 我这里的调研情况看,能省30%HTTP流量

@9hills 我说了我的环境是园区网,用户协议在我这没有意义,哈哈。
hq5261984
2011-12-11 21:56:03 +08:00
定制路由规则,发现视频程序或者视频格式请求,一律指向缓存服务器。缓存服务器分析是否有该片,如果没有指向外网。该技术实现需要服务器负载能力极强,另外分析程序需要自己写。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/23275

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX