V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
liprais
V2EX  ›  分享创造

HiveQL AST Visualizer

  •  1
     
  •   liprais · 2015-05-19 21:49:26 +08:00 · 2497 次点击
    这是一个创建于 3510 天前的主题,其中的信息可能已经有所发展或是发生改变。
    做了个hiveQL内部的Abstract Syntax Tree的visualizer,方便自己进一步的了解hive的query processing.
    用了JRuby & Sinatra & D3
    github: https://github.com/liprais/hive_ast_tree_vis
    另外还部署在了herouku上
    heroku链接 :https://afternoon-refuge-4404.herokuapp.com/
    暂时展示页面还比较简陋,会慢慢完善
    欢迎吐槽
    6 条回复    2015-05-20 17:03:27 +08:00
    mliilm
        1
    mliilm  
       2015-05-19 22:09:36 +08:00 via Android
    Jruby 是怎么连接到Hive的呢?

    另请教楼主有用Jruby写过udf吗?
    liprais
        2
    liprais  
    OP
       2015-05-19 22:16:19 +08:00
    @mliilm 这个visualizer通过JRuby调用了hive的QL这个package里面的一些东西,并不是实时的链接到hive
    另外jruby是可以用jdbc的
    关于jruby udf我是没用过,不过google一搜就很多,比如这篇 http://spryinc.com/blog/guide-user-defined-functions-apache-hive
    jadetang
        3
    jadetang  
       2015-05-20 16:37:32 +08:00
    你需要解析HQL吗?
    liprais
        4
    liprais  
    OP
       2015-05-20 16:54:09 +08:00
    @jadetang 你是问这个项目是不是解析了HQL?是的
    jadetang
        5
    jadetang  
       2015-05-20 16:59:28 +08:00
    @liprais 你手写的parser?还是用的生成器?另外,我点draw,没反应
    liprais
        6
    liprais  
    OP
       2015-05-20 17:03:27 +08:00
    @jadetang 通过JRuby调用的hive自己的parser,demo是跑在heroku的,free的可能会很慢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2741 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 109ms · UTC 14:36 · PVG 22:36 · LAX 06:36 · JFK 09:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.