Java 有没有轻量级的跟大数据的统计、排序、缓存等这些关键字相关的高性能框架？

[Aliberter]

抛开大数据本身那些什么 hadoop 、spark 的不谈，那些都太重量级，比如我面临的场景也就几十万，几百万，顶多千万的数据，有什么相关的轻量级框架去处理这些吗？ 比如我了解的有 springbatch 框架，但好像不支持各个维度的统计各种自定义排序啥的，也不支持从大量数据中快速检索等，就是支持大量数据一边读一边写而已。 老哥们有了解其他的流行的或小众的开源框架吗，欢迎推荐，多谢！

[zoharSoul]

轻量级不需要这些框架

几十万还处理个毛的大数据. mysql 直接就扛了

[arbit]

现在用的 mongodb，一个大表 collection 也有上亿数据，根据业务建好对应字段索引，感觉检索和排序的速度可以满足系统要求

[potatowish]

上 es

[chendy]

几千万 db 就搞定了

[nanjingwuyanzu]

我理解楼主的意思应该是处理，高性能框架 。更什么数据库没啥关系

[ikas]

矛盾...大数据,轻量级,除非是做 ppt

[young1lin]

就用 Spring Batch 就行了，几千万数据自定义排序什么的，上 Es 。Spring Batch 官网学不到什么，还得看《 Spring Batch 权威指南》，而且这个好像是 Pivotal 团队贡献了 JSR 352 的规范，有能力的话可以把这个搭配下 Velocity 之类的模版框架，开源个 DashBoard 出来。这个 Spring Cloud Data Flow 我用了，我还提了个 issue，有代理会启动不了，Spring Batch Admin 已经不维护了，Spring Cloud Data Flow 官方就是强推 Maven 仓库 + K8s，本地启动，有点麻烦。

[GrayXu]

@ikas +1 轻量级就别叫大数据了。单点的统计排序的策略也很多。

[zhenjiachen]

apache flink ？可以 main 方法直接运行

[littlewing]

这点数据量放内存里暴力搜索没啥区别

[zmzeng12]

用 spark 就行，不需要部署，执行时候会自动在本地拉起 standalone 部署，运行结束后自动销毁。

[abcbuzhiming]

没有，Java 拖着一个虚拟机就不可能轻量，数据量小建议直接搞个脚本语言开搞，重型框架只有数据量足够大的时候才有价值