写了一个库,可以即时解析不完整 JSON,在 AI 的场景下好用

2023-11-09 20:01:29 +08:00
 SimonTart
在实时互动和数据处理的领域,如跟 ChatGPT 类似的 AI 对话模型中,JSON 数据的快速、准确解析尤为关键。今天,我想向大家介绍一个全新的开源工具 —— json fragment parser 。这个轻量级库旨在解决一个特定问题:如何在数据还未完全到达时,就开始解析和使用 JSON 片段。

🚀 主要特性:

🛠️ 支持不完整 JSON 的解析:无需等待整个 JSON 数据加载完毕,即可进行解析。
🖥️ 兼容性强:完美支持 Node.js 环境以及所有现代浏览器。
⚡ 提高响应速度:让你的前端应用能够及早渲染数据,显著提升用户体验。
✨ 使用 json fragment parser ,你可以确保你的应用更为迅捷地响应用户操作,即便数据正在 "飞速" 传输中。欢迎大家访问 [GitHub 链接] 来了解更多信息,加入我们一起改善现代 web 应用的交互体验!

( PS: 内容是 chatgpt 帮忙生成的)

https://github.com/SimonTart/json-fragment-parser/tree/main
1336 次点击
所在节点    分享创造
8 条回复
pjxxcc
2023-11-09 20:11:21 +08:00
功能挺好,不过目前还没遇到过需要提前解析片段 json 的场景。
倒是 sql 格式化一直没找到好用的支持片段格式化的 Js 库
xdzhcs
2023-11-10 15:07:24 +08:00
这个好哇
xdzhcs
2023-11-10 15:07:48 +08:00
还有类似的解析 md 表格也是有差不多的问题
funnysaltyfish
2023-12-04 21:09:25 +08:00
可以很强,让 gpt 生成了个 json ,从最后往前面删除,基本各种情况都能解析出来(除了 null -> n, true -> t 这种,不过看了看 gpt 的分词器下,null true false 都是独立 token ,也不存在这种情况),对于字符串内部的 \" 也能处理,点个 star 先
SimonTart
2023-12-05 08:43:26 +08:00
@funnysaltyfish 这种应该也是可以解了正确解析的 能发我一下你测试的 case 吗?我看看是不是 bug
funnysaltyfish
2023-12-05 15:38:27 +08:00
@SimonTart 哦,我可能表达的不清楚。我的意思是类似 {"bool": t(rue 及后面的还没生成出来) 这种情况,后来发现 true 是一个完整的 token ,没有这种情况。 {"bool":true 这种是可以的
SimonTart
2023-12-06 08:36:54 +08:00
@funnysaltyfish 会有这种 json 吗 这种 json 是不合法的吧,会出现 t(rue 这种情况吗?
funnysaltyfish
2023-12-06 20:28:16 +08:00
@SimonTart 不会有这种情况,另外这个括号断句应该是 {"bool": t (rue 及后面的还没生成出来),也就是 true 只生成了个 t ;后来发现 true 是一个完整的 token ,不会从中间断开。
此外,感谢提供的思路,我转了一份 Kotlin 版本的 https://github.com/FunnySaltyFish/partial-json-parser-kmp 出来,供后来人需要的方便用

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/990386

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX