关于大数据如何解决非互联网公司问题的讨论

[alexkong]

现在大数据的概念炒的非常热，但是似乎也仅仅局限于互联网企业，或者互联网相关的服务。
最近我在思考这种思维如何去解决非互联网公司的问题。下面是几个相关的问题：

1，非互联网公司，或者说传统公司，记录什么数据？或者说需要记录什么数据？显然如果没有数据，什么数据挖掘，机器学习都用不上。

2，有什么样的数据相关的亟待解决的问题？有什么样的突破口？

3，各位有什么样的DM/ML相关的在传统企业的成功运用？应用的方面比如产品和企业营销、提高产量/效率？

[shyrock]

我最早听到数据挖掘，是在零售业。。。

[alexkong]

@shyrock 这是个好例子，学习数据挖掘估计都会听过啤酒和尿布的故事。零售业的销售数据肯定是被记录的。不明白他们是否还有其他的数据相关的问题，或者可以用数据回答的问题。

[imn1]

说一些项目/案例，都是我做数据分析经历过的，你自己判断吧
我最初学习的：
1.服装尺码
从若干（过万）人的体型尺寸，优化出五种服装尺寸规格
2.石化管道优化
我导师做的，某石化提供一套管道所有仪表、阀门……的NNN次调整数据，寻优化，结果提升产量1.x%，别小看这个结果，对那个公司来说就是增收几百万了（当时的规模）……
3.病例数据
若干病人和健康人的血液微量元素检查值，寻找哪些元素致病及其临界值，我大学的毕业论文，当时还要补考，所以这篇论文比较糟糕，其实结果可能是错的，只是答辩的时候除了我的导师外其他老师不懂，完全无提问通过，^_^

我参与过的：
4.洗衣粉用户调查
包括用户对不同牌子的洗衣粉洁净度、香味、手感、价格等的体验数据，指导新产品研发，因为客户本身有数据分析能力，而且基于产品信息保密，不需要我分析，我主要做的是数据收集
5.某市啤酒市场调查
某品牌啤酒要进入该市市场，调查当地人的喝啤酒习惯，数据虽然久远，但也不便透露，但我分析的一个结果比较有趣，最大的消费份额不是家庭购买而是占比极少的醉汉，其中一例还是要强制戒酒的……

我主导的：
6.某几个网站的联合调查，这个挺少见的，一般都是单独调查，他们提供用户浏览数据，我分析访问者的关注和浏览习惯，结果没有太大惊喜，只是几个他们起初认为无关的内容分析出有内在关联让他们挺满意
7.一个股票纯交易数据算法，这个受协议限制什么都不能说，感兴趣的人也不必追问了，只能说是工作以来最大的一笔收入～

我很想参与的：
8.地震/气象数据研究，中国在地震研究是世界权威，当然是之一，仪器可能不是最先进的，结果也不是完美，但灾难处理和研究是两码事，前者可能很糟糕，但后者还是很强的
9.城市规划、环境保护方面

上面说的都是多因素分析～

结后语：
数据是存在于各行各业的，身边可能就有～

补充说一下，我不是什么能人（其实算法很弱、高数不及格），成功的分析案例不超过5个，起码自我感觉是这样，没发过任何一篇数据分析的论文——写不出也不敢发，业界也不知道我的存在，包括我的导师也不知道我现在还有玩这个，绝大多数人只知道我是个没有做过成功案例的网站策划～

[yushaw]

@imn1 洗衣粉 啤酒 这些数据具体是怎么收集的 看起来很好玩的样子

[imn1]

@yushaw 那时候是在市场调查公司做，有团队去做这事

[alexkong]

@imn1 你的工作经历相当丰富啊！数据分析肯定是经常需要用到的，只是不了解对于这些传统行业的数据分析已经到了什么样的程度？只是简单的统计关联性分析（较浅）还是需要建立模型，或许还会有预测？（较深）
其实我也一直希望能接触一些股票交易算法的任务和数据。

[imn1]

@alexkong 从学术角度看，目前还是较浅的分析，没有深挖数据，但建模应该也是有的；从行业角度看，已经算不错的，因为基本的销售指导已经浮现，能够赚钱就足够了，有时太“学术”，传统行业因为不懂就会有怀疑、不相信，反而对行业发展是没帮助

主观原因是高级技术人才还在学术界，数学等领域；客观原因是建模方式目前还是百家争鸣，没有什么“必然”优越的分析方法。

[alexkong]

@imn1 说的有理。传统行业对于黑箱一样的算法确实是比较排斥的，这是一个问题。

我是特别乐见这些在学术界的技术人才能够利用自己的数据处理技术应用在传统行业的数据中。

[imn1]

我也是很希望数据分析能更多的应用，所以即使对方不懂或者甚至抗拒接受，我都会愿意跟他灌输一点点统计学的知识，只要不把统计学吹得多么玄乎，大多数人起码是能接受交叉分析的

其实从性质来说，数据分析的应用是自然科学（数学）用于社会科学（行为学），而社会科学总是具有“非唯一解”的，所以，目前的状况至少还没有很强说服力的实例。