V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
111222333
V2EX  ›  推广

一款基于 Web 的通用数据管理工具 CloudQuery(转载)

  •  
  •   111222333 · 2021-02-01 16:38:54 +08:00 · 1015 次点击
    这是一个创建于 1394 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    前段时间,公司因为业务发展,数据量攀升,老板迫切需要一个工具对数据进行精细化管理,一是确实需要精细化管理;二是因为我们公司小,数据本来就乱,加上前两天链家员工删库跑路事件,老板估计有点慌,万一谁心情不好来个 rm-rf /*,公司就凉了,于是,这任务就喜忧参半的落到了我的头上,而且老板临走还告诉我预算有限,看着办。

    先是在几个大厂的云市场上找,毕竟大品牌,看了华为 DAS,阿里云的 DMS 等等,产品都还不错,但有些功能要么不支持,要么太贵,这就很尴尬。

    之后在 GitHub 和开源中国上找,发现了不少好东西,例如 cloudbeaver 就不错,但玩了一下午发现没权限和审计:cry: 。还有一些不错的堡垒机和开源工具,不过也不是我们想要的。

    最后在墨天轮瞎逛时点开了 CloudQuery 的直播,从此发现了新大陆。运气好,还在直播活动中抽到了一个保温杯!

    所以,我现在就拿着 CloudQuery 赠送的保温杯泡着枸杞,写下了这篇文章。

    介绍

    CloudQuery 是一款基于 Web 的数据管理工具,可部署到各大云端。轻量化,无需下载本地软件,安装在服务器上所有人就都可以用浏览器登录使用,实现数据统一管理。尤其令我惊奇的是,CloudQuery 9 月份上线,现在不过 4 个月多点,能做成这样真是厉害!

    内容

    安装
    • 安装时出了点小意外,没看安装手册,用 4 核 8G 的服务器安装了完整版,导致下载完成启动失败,后面问小助手才发现是因为机器配置不足,所以给大家提个醒,完整版对服务器要求高,一定要看一眼手册再下载,避免浪费时间。

    • 后来换了高配服务器,就可以正常启动了。下载的过程很简单而且不需自己动手,它会先下载环境再下载应用,每步有进度和提示,体验不错。
    添加连接
    • CloudQuery 支持的数据库种类很全,像平时我们用到的 MySQL 、Oracle 、PG 、Redis 、SQLServer 、MongoDB 都支持,还支持国产数据库达梦,这就很 nice !每种数据库都支持两三种主流版本,完全可满足公司的数据库需求。

    数据操作
    • 数据操作方面,整体感觉不错,像添加表和视图、转储 SQL 文件、编辑查看单元格、语句智能提示、打开终端、结果集多格式导出等大类功能都支持,执行计划、事务手动 /自动提交、执行中断、语句收藏等常用的小类功能也有。

    • 不过也有优化的地方,例如查看表结构的中文备注,结构迁移、数据迁移,字段类型也稍微少了些。不过按照他们两周一次的迭代速度,后面应该会支持,期待 CloudQuery 在数据操作方面早日成为 Web 版的 navicat,那就牛了。
    组织架构

    组织架构功能如果说满分 100 分的话,我只能打 82 分,剩下的分数用 666 来给。组织架构这个功能,拿来就能直接用到公司环境中,添加部门、添加组、添加用户包括管理等都特别方便。

    系统权限
    • CloudQuery 对用户分配系统权限时,需要先创建一个角色,然后再进行授权。

    • 系统权限有:系统设置、添加连接、审计分析。例如只给用户分配添加连接的权限,系统设置和审计分析功能等相关的所有功能都将无法使用,起到对用户进行分级管理的作用。

    数据操作权限
    • 数据操作权限是公司最为看重的功能,我们迫切需要一个管理手段,正巧它就来了。
    • CloudQuery 的数据操作权限功能做的很详细也比较全。例如,当 DBA 设置一个角色,让这个角色只拥有查看和增加 MySQL 连接中的 A 库 B 表和 B 视图的权限,把这个权限赋予小明,小明就只能做权限内的事情。

    • 如果还要给某用户增加更多权限,或统一给相似用户授权时,还可以设置有一个权限集,在实际工作中这样授权效率很高。

    • 不过权限方面也还有优化空间,例如可以增加结果集导出的权限,打开终端权限,增加更多权限类型等......哈哈,一不小心就提了需求。
    应用分析
    • 在应用分析中可查看今日常用表的读写次数,SQL 的执行排行情况,SQL 的执行耗时排行情况,根据这些信息,同事们就可以更具体排查和调优,点赞!希望以后还会增加更多类似功能,例如 高危 SQL 的排行等。

    审计分析
    • CloudQuery 的审计分析会对所有在系统内执行的 SQL 语句进行审计分析,保证数据皆有据可查。
    • 审计分析中可看到执行总数、错误语句数、各语句的执行占比情况、活跃用户数、今日用户排行情况等,比较详细,能够满足我们日常工作。

    • CloudQuery 支持审计明细,可以根据多种过滤条件进行查询,支持导出明细信息到本地。

    个人文件夹
    • 个人文件夹可从本地导入文件,也可以在终端打开,这个小功能挺不错!~

    执行历史
    • 打开执行历史时可以看到自己一段时间内的执行记录及常用的连接,懒人福利。

    总结

    CloudQuery 是一款相当不错的管理工具,集成了很多 DBA 和开发者的常用功能,重点支持了权限管控和审计分析,非常适合国内中小企业和团队,希望保持初心,越做越好!

    对了,重要的一点忘了提:CloudQuery 完全免费!这里手动 @官网:www.cloudquery.club

    我觉得可以向他们收广告费了,哈哈哈哈

    完。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1068 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 22:28 · PVG 06:28 · LAX 14:28 · JFK 17:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.