一个服务器只有几台，最大内存不到 16G 的软件公司还想搞爬虫大数据，这算什么样的公司

[cnfzv]

一个服务器只有几台，最大内存不到 16G 的软件公司 想搞爬虫、大数据，抓取的数据库主要用 SQLSERVER 。 搞数据抓取的只有一个新人,这算什么样的公司

[crazykuma]

老板脑洞比虫洞还大的公司吧

[webjin1]

走人

[crab]

爬 V2 吗 O(∩_∩)O

[qiayue]

搞爬虫没问题啊
搞大数据就你也没有提供更多的信息，不评论

[jarlyyn]

爬虫不是要 ip 池和带宽么？

[LU35]

快走人,下一题.

[murmur]

先搞起来骗到风投，没差

[gouchaoer]

最重要的是钱给够了，为什么不能搞？
看不起 sqlserver 么，比 mongo 靠谱
爬虫又咋吃 cpu 和内存

[alwayshere]

爬虫 16G 貌似也行

[ryanzyy]

看主要的开发者是否有实力吧
初期服务器弱没问题啊

[server]

服务器够了，剩下自己发挥

[Aliencn]

有志向的公司

[marlboros]

搞
资金流到位
升级服务器
老板跟你提效率问题了吗？

[Hozzz]

单从数据库方面来说， sqlserver 现在可是三大主流数据库之一...

[cnfzv]

@ryanzyy
@gouchaoer
@jarlyyn
开发就一个 Java 新人 服务器都是旧服务器，抓了 1000 万的数据吧，信息分离完成有 6000 万条以上的数据吧，都存 8g 内存服务器的 sqlserver 上 ，数据库和开发都是一个人管。 java 新人 爬虫用的框架，项目没提给买代理的事，也就没研究，存数据库的服务入口带宽 10M 大概吧

[gouchaoer]

@cnfzv 这些都不重要，重要的是薪水和你的工作量。。。

[jarlyyn]

@cnfzv

就你给到的数据来看，这是家完美的控制了成本的很成功的公司…………

如果换服务器换有经验的员工，能抓到 5000 万记录么……

[cnfzv]

@gouchaoer 那个 java 新人就是我， spring 都不会用，也就用个 webmagic 抓俩网站，数据库服务器都是我在弄，基本什么都干。工作不重，但是很杂

[yanzixuan]

要是用 erlang ， 16G 应该够用了。。。掩面跑开。。。

[ytmsdy]

估计老板被人忽悠了，觉得手里有个十几个 G 的数据，然后分析分析就是大数据了！