24 时跑爬虫程序,硬件自己组装, v 友们可有推荐

2016-07-30 16:34:22 +08:00
 liangmishi
预算 2000 。
能跑 scrapy 框架写的程序就可
主要担心的还是长时间运行,硬件受不了。
跪求推荐。。
20427 次点击
所在节点    程序员
54 条回复
prasanta
2016-07-30 16:41:41 +08:00
使用 scrapy 的话内存一定要够大!!!!
liangmishi
2016-07-30 17:02:04 +08:00
@prasanta 多大才算够大, 4G 够不够
lbp0200
2016-07-30 17:03:53 +08:00
xiaoshangmin
2016-07-30 17:04:53 +08:00
反正我 256 内存的连装都装不了
prasanta
2016-07-30 17:11:52 +08:00
24 小时爬的话我选择 16g 内存
wun
2016-07-30 17:12:36 +08:00
在图吧,你已经可以买三分之二个网吧了
liangmishi
2016-07-30 19:00:53 +08:00
@lbp0200 感谢,正是我想要的
liangmishi
2016-07-30 19:01:12 +08:00
@xiaoshangmin 256 都几年前的了。。
liangmishi
2016-07-30 19:01:53 +08:00
@prasanta 8g 先用,等有钱再来一条 8g
liangmishi
2016-07-30 19:02:08 +08:00
@wun 图吧是啥??
shijingshijing
2016-07-30 19:06:59 +08:00
二手超低电压 Xeon 搭配 SSD ,稳定、功耗低、性能还挺 NB 的。芯片组注意选 H55 以后的, TDP 都是个位数,不要选 G4x 搭配 Core 2 以前的,功耗高。
ytf4425
2016-07-30 19:09:04 +08:00
@liangmishi 大耳朵图图吧
专收垃圾
对了你也可以试试洋垃圾,不过大概噪音还是蛮大的
shijingshijing
2016-07-30 19:09:26 +08:00
不想操心推荐上 HP 的 Gen 8 ,配合超低电压的 G1610T ,内存可以自己加,觉得性能不行就把 CPU 换成低电压的 Xeon ,其实最关键的是 HP 把这个小机是按服务器的标准设计的,电源都是用的 Delta 等大厂带 Active PFC 高效能的,效率和可靠性远高于一般 PC 。
liangmishi
2016-07-30 19:19:27 +08:00
@ytf4425 看了下,感觉不会玩,还是乖乖去某东。。
liangmishi
2016-07-30 19:29:32 +08:00
@shijingshijing 确实是个可以考虑的方案,感谢~
yeshang
2016-07-30 19:40:15 +08:00
爬什么?
gainsurier
2016-07-30 19:44:01 +08:00
树莓派,然后接硬盘,成本 300 元不到,还省电。
lan894734188
2016-07-30 19:48:06 +08:00
Dell 2950 x5460 x2. 4gx8
lbp0200
2016-07-30 21:01:16 +08:00
@gainsurier 刚从这个方案逃离,硬盘经常掉线
UnisandK
2016-07-30 21:07:33 +08:00
这预算租个独服不挺好,为啥要自己装硬件。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/296011

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX