一个服务器只有几台,最大内存不到 16G 的软件公司还想搞爬虫大数据,这算什么样的公司

2017-04-24 14:36:02 +08:00
 cnfzv

一个服务器只有几台,最大内存不到 16G 的软件公司 想搞爬虫、大数据,抓取的数据库主要用 SQLSERVER 。 搞数据抓取的只有一个新人,这算什么样的公司

18114 次点击
所在节点    程序员
97 条回复
zhengxiaowai
2017-04-25 10:10:28 +08:00
管爬不管修
baoguok
2017-04-25 10:11:08 +08:00
@server 绝对够了
xiaoyu9527
2017-04-25 10:12:38 +08:00
@jianghu52 断线换 IP 的效率好么? 每次重播都是不同的 IP 么?
10years
2017-04-25 10:27:17 +08:00
反正爬数据是够了.
xiaoyang7545
2017-04-25 10:27:19 +08:00
现在。。大数据这个东西。。概念模糊。。多大的数据才算大数据。。所以好多人喊着做大数据的口号,其实做的就那么点屁大的东西
firefox12
2017-04-25 11:11:19 +08:00
@razrlele 下面很多人都做到了,不难的,爬京东是垂直网站,做好匹配 很快的, cpu 会是瓶颈,用正则和不用,性能差别不小,但是对垂直网站而言简单。 那时候京东不过 50 万种商品,现在大概几百万种了。
herozzm
2017-04-25 11:45:50 +08:00
面对 lz 不想说什么了
Tunar
2017-04-25 12:02:44 +08:00
数据具体什么级别啊
mathgl
2017-04-25 12:11:05 +08:00
sqlserver 挺好的,没啥问题,当然要是没钱买是另外一件事了。
allgy
2017-04-25 14:01:57 +08:00
我们服务器 2G
alphadog619
2017-04-25 14:41:54 +08:00
凑热闹的公司
BlackCat02
2017-04-25 18:11:42 +08:00
16G 是够磕碜。。公司分的开发机还有 32G 内存
allansun
2017-04-25 19:11:45 +08:00
在用 512M 内存小机器跑 Redis 的人飘过。。。。
imherer
2017-04-25 19:17:45 +08:00
我们服务器全是 1CPU 1 内存的
imherer
2017-04-25 19:18:08 +08:00
@imherer 少了个 G , 1G 内存
Nitromethane
2017-04-25 19:29:06 +08:00
是比我们实验室的机器少点~
1000 万的量还不够大数据的标准~实验室机器上屯了 15T 脱敏的数据。。
aev2ex
2017-04-26 10:33:00 +08:00
@cnfzv 现在的公司也是,不重视技术,老板心里永远觉得技术就应该服务于销售和运营,对技术偏见很大,而且成长空间很有限,都不想待了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/356982

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX