24 时跑爬虫程序,硬件自己组装, v 友们可有推荐

2016-07-30 16:34:22 +08:00
 liangmishi
预算 2000 。
能跑 scrapy 框架写的程序就可
主要担心的还是长时间运行,硬件受不了。
跪求推荐。。
20430 次点击
所在节点    程序员
54 条回复
em70
2016-07-31 11:43:26 +08:00
@SmiteChow 上行是对服务器而言,反正官方文档这样描述的,就是在服务器上的下载带宽是免费且无限的,很适合做爬虫.
liangmishi
2016-07-31 12:31:17 +08:00
@harry890829 其实就是台主机连根网线而已。。

@Marfal 感谢您的建议

@unfurl 这个可以有,不过感觉性价比没自己一块块组建起来的高

@SmiteChow
@em70 其实我觉得上云和自己组建差不了多少的,我考虑的有两点, 1 、自己组建以后还有别的用途, 2 、自己组建硬盘够大
bzzhou
2016-07-31 20:03:38 +08:00
爬虫对 CPU 、内存要求都很低, HP gen8 跑满 100M 带宽很容易
exiaohao
2016-07-31 20:56:30 +08:00
去收 E5-26xx 啊已经比 X56xx 还便宜了
内存能上多大上多大
可以考虑下二手服务器~

自己组的话 6 系的 U+能上多大上多大的内存和固态盘,散热做好防尘做好
我家的 Gen8 在没有空气净化器的屋子里已经快瘫了


哦对了,爬虫这玩意,不是最重要的是网好网卡好么
intel/broadcom 选一,千万别用螃蟹卡什么的~

哦对对对对了
之前用青云的 mongodb 存爬虫,一不小心 1T 空间就炸了,记得评估一下每个月大概能产生多少数据
建议多上几块机械盘开 Raid 存数据,固态盘跑服务
liangmishi
2016-08-01 00:45:31 +08:00
@bzzhou 对宽带要求比较高

@exiaohao 感觉不知道哪里收比较好,有风险~ 请教一下, 6 系列是值什么,京东上找了半天~
感谢您的建议~~
lan894734188
2016-08-01 08:58:45 +08:00
@liangmishi 我的意思就是让你组装
lazyhan
2016-08-01 15:00:59 +08:00
@wun 图吧基佬
chaichaichai
2016-08-01 17:29:52 +08:00
Gen 8 用户表示,如果放家里一定要换风扇,推荐猫头鹰的风扇,基本感觉不到风扇的声音
liangmishi
2016-08-01 22:37:35 +08:00
@chaichaichai 谢谢
SlipStupig
2016-08-02 07:47:53 +08:00
@liangmishi 云计算是便宜的,可以按需收费,你放家里面现在天气这么热,你想 7*24 不停的运行空调肯定是要开的,每天机器都是开着的,算下来电费要多少钱啊,至于存储有免费的云存储,收费的也就是几块钱 1T ,你还要办宽带估计你的说法是带宽需求比较大最少要 100M 吧,还要换个好点的路由器( 90 块钱的 TP-LINK 完全是废物),你还得买台机器,更要命的事情你机器估计连容灾备份都没有,突然断电就数据全丢了。大概算一下你在家里的费用

硬件成本:机器 2k+路由器 1k(美国网件)
消耗成本: 1 )带宽: 300/mon 2 )电费: 360/Mon (电脑 7.2 ( 0.3*24 ),空调 4.8 ( 0.6*8 ,如果空调开整天的话更多),一天电费:)

结论:你一次投入就要 3000 ,然后每个月还要额外投入 660 块钱,你觉得划算么?
msg7086
2016-08-02 10:49:39 +08:00
@SlipStupig 拍脑袋算成本也是醉了。
机器配 3k ,双网卡级联 5 嘴交换机,主机自己就能做软路由,根本不需要 1k 的网件。
(就算你买网件,我 3 年前买的 3700v2 也只要 50 刀,折 300 多,性能足够强劲几个月不用重启。)
电脑的电费就更扯淡了,就说 i7-6700 的机器 24x7 满载也只有 100w 左右这 0.3 是哪来的?
热量的话,我现在这边白天天气 35+,室内无空调无日晒保持在 28 以下,电脑 24x7 大概一半时间满载运行,也没见有多热啊。哦,还有一块 GTX 独显和 7 块硬盘在一直跑着呢。

反过来说,家里不开服务器的话,就不用买路由不用装宽带不用开电脑不用开空调了是不?

@liangmishi 电脑硬件就是设计成长时间运行的。大厂品牌 24x7 运行个几年不成问题。
手头看的 24x7 运行最容易坏的就是硬盘了。考虑上 SSD RAID 或者 HGST 。
liangmishi
2016-08-02 13:50:54 +08:00
@SlipStupig 谢谢您的建议,开这样一台机子就跟多开两台笔记本的热量等同吧,空调屋下不影响的。
虽然一次性投入的比租云多很多,但是从长远的角度来看,感觉很值得

@msg7086 SSD+HGST , SSD 跑程序, HGST 存数据。就是不知道这些主板是否都有支持 Linux 系统?
msg7086
2016-08-02 14:51:54 +08:00
@liangmishi 不是主板支持 Linux ,而是 Linux 支持主板。
如果不放心那就买前一代的产品咯。
或者弄个新点的内核就好。
liangmishi
2016-08-02 14:58:29 +08:00
@msg7086 感谢,明白了~

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/296011

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX