V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
YoshiKit
V2EX  ›  Go 编程语言

如何用 Go 语言解析其他语言?

  •  
  •   YoshiKit · 2021-03-26 01:51:31 +08:00 · 4451 次点击
    这是一个创建于 1371 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想用 Go 去分析大量源代码( Python 、C 、C++或 Java 等常用的语言),进行一些变量名、函数名、代码结构的统计,以及注释内容的清理,请问具体该如何进行?

    我尝试去寻找对应的 package 但是没有找到对应可以解析编程语言的 package ?还是说应该用 yacc 类的工具构造工具链来进行处理。

    18 条回复    2021-03-29 13:55:55 +08:00
    neoblackcap
        1
    neoblackcap  
       2021-03-26 02:04:53 +08:00
    静态分析工具用 Go 写啊,走 yacc 那套罗
    kassadin
        2
    kassadin  
       2021-03-26 04:12:01 +08:00
    antlr
    LeeReamond
        3
    LeeReamond  
       2021-03-26 08:24:02 +08:00
    使用一种语言解析其他语言的 AST 本身不是常见需求,尤其对于 GO 这种生态,我不看你能找到别人写好的项目
    typetraits
        4
    typetraits  
       2021-03-26 08:39:07 +08:00 via iPhone
    我建议使用 Go 调用其他语言的 parser,然后用 Go 实现对 parser 数据的进一步分析
    janxin
        5
    janxin  
       2021-03-26 08:42:10 +08:00 via iPhone
    go-yacc
    kingzeus
        6
    kingzeus  
       2021-03-26 09:10:15 +08:00
    可以看下 《自己动手实现 LUA 虚拟机》
    ji39
        7
    ji39  
       2021-03-26 09:28:39 +08:00
    vsc 的各种扩展
    tikazyq
        8
    tikazyq  
       2021-03-26 09:32:48 +08:00
    参考下 esbuild ?
    no1xsyzy
        9
    no1xsyzy  
       2021-03-26 10:04:40 +08:00
    esbuild 似乎是手写的 parser
    这种做法比较针对特定语言,多语言还是应当偏向 YACC 之类的(不然写死你~
    yukong
        10
    yukong  
       2021-03-26 10:06:33 +08:00
    antlr ast 语法分析树
    lxz6597863
        11
    lxz6597863  
       2021-03-26 12:02:01 +08:00
    golang 标准库 text/scanner 估计可以满足你的需求
    Trim21
        12
    Trim21  
       2021-03-26 12:17:42 +08:00 via Android
    试图用 esbuild 解析 js 来着,然后看了下他的 parser 在 internal 里面…
    KesonAn
        13
    KesonAn  
       2021-03-26 18:03:27 +08:00
    antlr,将目标语言的 syntax 生成为 Go 语言的 AST,然后 Go 可以对目标语言进行分析,官方有 demo
    hronro
        14
    hronro  
       2021-03-27 15:57:00 +08:00
    非要用 Go 语言来做吗?如果不限语言,其实选择会多很多。
    可以参考一下 GitHub 的做法,他们是用 tree-sitter 来做 parsing,然后他们在用 Haskell 来处理 tree-sitter parse 之后的结果,项目地址开源在这里: https://github.com/github/semantic
    然后这篇文章详细说明了他们为什么不用 yacc 而用 tree-sitter 来做 parsing 的原因: https://github.com/github/semantic/blob/master/docs/why-tree-sitter.md
    我个人建议 parsing 的部分用 tree-sitter 来做,然后分析的部分,如果你非要用 Go 言语来做分析的话,应该也是可以的,只不过 tree-sitter 没有官方的 Go binding,用起来可能会麻烦一下。如果你能搞定 Haskell 或者 Rust 的话,建议用这两个语言来做分析,或者对性能没什么要求的话,用 Node.js 或者 Python 也行。
    YoshiKit
        15
    YoshiKit  
    OP
       2021-03-29 12:20:59 +08:00
    @hronro 这个部分看到过,看到 Haskell 就有点蛋疼了。主要希望有种快速处理的方式,Go 的性能相对好一些。
    YoshiKit
        16
    YoshiKit  
    OP
       2021-03-29 12:22:01 +08:00
    @lxz6597863 text/scanner 只能解决 Go 本身的语法解析,但是别的语言却没有。
    YoshiKit
        17
    YoshiKit  
    OP
       2021-03-29 12:22:55 +08:00
    hronro
        18
    hronro  
       2021-03-29 13:55:55 +08:00 via iPhone
    @YoshiKit 可以试试 Rust
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5192 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 03:50 · PVG 11:50 · LAX 19:50 · JFK 22:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.