7 万多条的 json 如何储存检索

[heywin]

大概有 700 多个字段吧，总共 70000 多条。有什么好方法能存储及高效检索，以及数据可视化呢。 试过 Mysql, bigquery 好像都不怎么行。 谢谢

[tedd]

上 Elastic search ？

[tedd]

可视化 Elastic 全家福也能搞定

[lhx2008]

这么少直接导进去 mongo 就好了

[Vegetable]

json 如果是固定格式的,MySQL 不会不行吧
嵌套的多就 MongoDB 咯,检索效率有保证,但是比较底层需要做的工作比较多.
可视化就是另一个问题了,和储存关系不大,不评论啦

[jiezhi]

solr?

[liprais]

spark 处理一遍丢进 mysql,7 万多条很轻松的

[heywin]

@liprais 多谢，我也想过，太懒了。实在不行就用 PySpark 先搞一下。

[jimchen9999]

7 万数据就用 spark 你还不如用 Bash

[heywin]

@jimchen9999 文件有 500 多 M，还是有点费劲。

[congeec]

700 多个字段是什么意思？

[heywin]

@congeec 不知道 json 黑话怎么说，键值对。

[sagaxu]

https://dev.mysql.com/doc/refman/5.7/en/json.html

[nuance2ex]

70000 多条用 pandas 就可以了

pd.read_json 秒秒钟转好格式，
再直接调用 plt 调好参数函数可视化。

最后，
如果只是自用，可以调用 to_csv 保存
如果想持久话，用 to_sql

[koodai]

@nuance2ex 你电脑啥配置呀？
500M 加载起来有点费劲的

[heywin]

@nuance2ex 这个好！！！简单
谢谢

[zchlwj]

直接 mongo 啊

[jimchen9999]

500m 用 spark? spark 最起码都是 tb 起步吧

[missdeer]

mongodb?
sqlite3 也有 json 相关 api 了
还有个 unqlite 好像也有

[imNull]

临时用的话，我一般都是直接 bash 跑下拿出需要的数据。
不少新点子，mark