V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
stcasshern
V2EX  ›  问与答

有没有开源好用的数据、算法超参数、模型版本记录与管理工具

  •  
  •   stcasshern · 2019-01-31 08:57:27 +08:00 · 1273 次点击
    这是一个创建于 2127 天前的主题,其中的信息可能已经有所发展或是发生改变。

    RT,工作需要,针对同一个业务,会选取不同数据(比如不同时间段)、 不同算法、不同参数进行模型训练,有时候模型太多 就难以管理了(目前就靠命名区分。。)
    另外还有一个问题,就是比如 lightgbm 这样的包,保存下来的模型文件,是不带超参数的( sklearn 的是带的),每次都要手动单独保存。
    因此有了一个需求,有没有一个开源工具(最好能兼容 诸多算法包),能够每次完成训练,自动(或者半自动)记录 这次训练选取的数据集、模型参数、模型文件。
    求助。

    1 条回复    2019-02-01 18:07:54 +08:00
    stcasshern
        1
    stcasshern  
    OP
       2019-02-01 18:07:54 +08:00
    回复关注本主题的同学。。MLflow ( databricks 开源 )可以满足该需求
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4186 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:17 · PVG 18:17 · LAX 02:17 · JFK 05:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.