有做数据处理工作的大佬？请指导下小弟。

[YoungBalance]

我在家初创公司工作，做着数据处理的工作。公司其他人从外面采取数据回来，我就将其进行分类和汇总。但只不过在文件夹里剪切复制数据、然后统计在 excel 表而已，算不上数据处理的有含量技术。 现在领导让我自由地处理和管理这些数据，但我对数据处理管理这方面毫无经验、也不知从哪下手。我想知道做数据处理的大佬们从开始是怎样去做数据处理、从哪获取数据管理知识和数据处理管理的工具？ 小弟先在此谢过各位大佬了。握拳

[fox1751]

多大数据量的

[liprais]

你处理完了这些数据被拿去干啥了

[xmadi]

数据到手 首先要做的是保存原始数据 然后再清洗整理 然后把清洗后数据入到库 可以是 mysql 或者其他各种数据仓库 最后按照需求从数据仓库里面拿数据 进行分析统计什么的

[imn1]

所有数据分析都是先学交叉分析的，简单讲就是交并差
最简单的工具，数据量小就是 excel，数据量大就是 SQL，然后才是编程

[YoungBalance]

@fox1751 不多，十几 G 吧

[YoungBalance]

@liprais 数据都拿去给机器学习了

[YoungBalance]

@xmadi 好的，我先从数据库入手看看

[YoungBalance]

@imn1 交叉分析，我去了解下

[myhot21]

把你剪切复制的工作用代码实现

[YoungBalance]

@myhot21

[YoungBalance]

@myhot21 平时用 python 写脚本做这些工作，但还是觉得远远不够

[nl101531]

hdfs+hive ？

[YoungBalance]

@nl101531 用 Hadoop 去处理这十几 G 数据，是否大刀小用？

[nl101531]

@YoungBalance 还好吧。。。如果你对大数据处理感兴趣可以搞一下

[YoungBalance]

@nl101531 好的，我试着搞搞

[yuikns]

看需不需要横向扩展。比如可以预期的五年后，数据量是 100G 还是 10T 以上。前者的话好好学习 postgres 会很爽的，后者可以预先学下 spark 工具

[YoungBalance]

@yuikns 最近确实想深入 postgresql，多谢了

[yuikns]

@YoungBalance 以前上课时候老师和我们说，什么叫做 bigdata 呢？其实并没有什么学术上定义，非要来个，数据之大，一台机器放不下。简单的 select join 下还是 psql 单机无敌。以后要是大了也可以塞 cockroach 去 https://www.cockroachlabs.com 。这是个分布式数据库，兼容 psql 协议，也可以做 spark 数据源。只有在必须要大数据时候再用大数据。否则就是糊弄下投资人的。

[YoungBalance]

@yuikns 现在的我还是狭义认为 postgresql 是个存储数据库的想法。但我想更加知道 postgresql 在数据挖掘、数据处理方面的知识，该从何处入手？