有一个数据分析的解决方案想请教各位一下

[yangyifan]

我遇到一个自己没有尝试过业务场景，想寻求各位大佬看看有没有好的解决方案。 业务大概如下：

• 收集客户端数据，一个很大的 json （可能超过 100+的字段）随着业务慢慢变化会导致字段和深度都是不固定的。想通过一下类似 SQL 的方案能实时的查询结果，并且有图表的功能，可以给运营方去分析。我现在的方案是使用阿里云的日志功能，能实现之前的需求，但是它的索引不能超过 100 个，所以现在如果要根据一个新增的字段去查询的话，就得删掉一个老的索引。
• 这里还有一个需求是阿里云日志无法实现的，我想实现一个动态拦截或者叫做动态计算也行，比如 json 里有一个字段 a ，我如果他里面的值是不符合我设计的预期就告知给系统推送。

因为个人 的技术能力有限，想使用成熟的一体化解决方案一并解决我所有的业务需求，想看看大家是否有好的见解。

[kkk9]

建议留个联系方式给大神们，毕竟真正的解决方案是要花钱的😅而不是发贴靠评论区

[ixixi]

定义模型 和字段的 path 路径 比如
xx_time 对应的 path 是 a[0].time.xx_time
每次提取就是了

[sujin190]

https://github.com/snower/syncany-sql

那分享下我的这个项目吧，可以直接写 sql 查询 json 文件，group by 和聚合函数也正常能用


https://github.com/snower/syncany-server

还有 server 实现，实现的是 mysql 服务端正常协议，然后你就可以直接用支持 mysql 的图表系统来正常接入了

项目都有例子，也许可以帮到你

[Braisdom]

可以试试 Agile Query, https://www.agiquery.com

[mantouboji]

咨询和建议免费提供，想知道正确答案请另外掏钱。

[yangyifan]

@ixixi
@sujin190
@Braisdom 感谢

[qq1340691923]

可以使用这个开源项目:
https://gitee.com/cynthia520/xwl_bi

[kanecolin]

1. 数据实时性要求是否高
2. 索引实时性要求是否高
3. 收集的数据结构（字段/数据类型/长度等）是否有连续性或下发配置这类的要求
4. 是否有预算支持

典型的数据收集+边缘解析场景，难度不大