一个服务器只有几台，最大内存不到 16G 的软件公司还想搞爬虫大数据，这算什么样的公司

[cnfzv]

一个服务器只有几台，最大内存不到 16G 的软件公司 想搞爬虫、大数据，抓取的数据库主要用 SQLSERVER 。 搞数据抓取的只有一个新人,这算什么样的公司

[ipoh]

@cnfzv 用百度的码农凭什么抱怨啊，努力还不够

[killerv]

多大的业务？ 16G 应该够了啊

[cnfzv]

@killerv 只是爬虫 8g 都够了，可惜还有很多乱起八糟的东西跑着，而我也不只是去弄开发。我只是心情很不好，而这个公司发展方向确实也不太好，他们主要靠业务吃饭，开发并不重要。

[klxq15]

大数据也没规定多大数据就算大数据啊。。。

[jayong]

@ipoh 哼 我用神马

[we3613040]

听着挺爽的，不过就是发展不怎样，混日子还行

[Felldeadbird]

8G 的服务器，足够你用爬虫了。只是带宽出口 1M ，太少了。估计爬起来效率很低。你另外还有 2 台服务器，可以让他们做爬虫业务。反正我司 1U1G 100M 的服务器，每天爬 100 万的数据都没任何压力、一部分展示业务也在这台机器上进行。楼主自己做参考。

[bk201]

window 这内存不够吧， linux 倒是可以。

[eDeeraiD0thei6Oh]

一个小目标 我觉得楼主多虑了

[cnfzv]

@Felldeadbird redis 队列，数据库、爬虫都在这一个 8g 上面，另外两个机器也跑着爬虫，但是得用这个机器入库，另外两个机器跑不动 redis

[Felldeadbird]

补充一点，服务器数据是定时删除的。如果楼主公司业务需要展示以前的数据，在数据大了的情况下，单机肯定是不够用的。但是不论怎样也好。刚开始的时候，数据量不大就别去担心硬件这个事情了。等到不够用的时候，直接向上面申请。他们不审批也没关系，让他们继续等待缓慢的服务……

[brucedone]

很好奇一个爬虫，后面没有跟着算法等数据专家， 能搞成什么样的大数据。

[hundan]

我觉得楼主这样完全可以单干，自己开公司……

[jiangzhuo]

16G 没什么问题吧，如果爬垂直领域的， 32 台 500M 的爬虫也挺好，另外谁有国内比较便宜的代理池子给推荐一下。

[yohole]

@crab 我爬过 V2 ，一台最普通的 PC 爬个两天，基本搞掂了

[gamecreating]

跟机器有关系吗? PC 电脑一样采集..

[lyhiving]

有内幕，估计就是爬了“大数据”三个字

[fermiz]

我们学校给论坛的都 64G 。。。。

[coreos]

@cnfzv 做着做着，做明白了，就大牛了。

[SlipStupig]

2G 内存+2Core 每天抓取上千万的电商数据.....