爱意满满的作品展示区。
hooopo

我也写了一个开源的 Google Analytics

  •  9
     
  •   hooopo ·
    hooopo · Mar 4, 2021 · 11499 views
    This topic created in 2075 days ago, the information mentioned may be changed or developed.

    上次分享了一些对 Google Analytics 的想法 计划实现一个可以私有部署的 Google Analytics,经过几个月的尝试,终于把原型写完了。目前只是最简单的功能,后面会加一些杀手级特性...

    Hypercable Analytics is a fully featured high performance scalable, open source, standalone deployable alternative to Google Analytics, build with timescaledb openresty redis and rails.

    screenshot

    demo site

    benchmark

    用一台 6C 的云服务器测试过,大概可以处理 15k rps,有时间可以再做一些优化,和开源竞品比较一下。

    一些 roadmap

    • 更多的内置可视化报表
    • 内置的类似 metabase 的界面和 SQL 自定义探索功能
    • 电商模块的 UI (目前数据结构已经支持)
    66 replies  •  2021-04-11 16:47:39 +08:00
    codespots
    codespots
    Mar 4, 2021
    1
    不错不错,感觉良好
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    2
    @codespots 等把功能完善一下做个横向比较
    towry
    towry
    Mar 4, 2021
    3
    demo 的密码是啥
    learningman
    learningman
    Mar 4, 2021 via Android
    4
    扫了一眼,准备写一条规则给 adblock
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    5
    @towry [email protected] 密码 111111
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    6
    @learningman 怎么写?可以 cname 成自己的域名哇
    est
    est
    Mar 4, 2021❤️2
    7
    LZ 动手能力真强。
    guyskk0x0
    guyskk0x0
    Mar 4, 2021 via Android❤️2
    8
    看界面还以为是 https://plausible.io/ ,太像了。
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    9
    @guyskk0x0 抄了点 ui😂 不过后面功能上一定有很大差异
    shunia
    shunia
    Mar 4, 2021
    10
    能不能支持 url 参数自动参与统计(或者至少可以计数,用户选择过滤或者筛选条件统计)?比如 a=1&b=2,a 和 b 可以像 utm_ 参数一样作为一个统计项。
    每次新项目用 ga 我都在想怎么才能不用为 url 参数手动打点。。。
    guyskk0x0
    guyskk0x0
    Mar 4, 2021 via Android
    11
    @hooopo 不错,已⭐
    yesmeck
    yesmeck
    Mar 4, 2021
    12
    炮哥高产似母猪
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    13
    @shunia 好建议 这个可以做!
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    14
    @yesmeck 母猪会上树
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android
    15
    @guyskk0x0 感谢!!
    shunia
    shunia
    Mar 4, 2021
    16
    @shunia #9 不在意那些花里胡哨的界面,我只求能有一个普通人用起来不费脑子的统计功能。
    在 ga 上做一点稍微自定义的数据统计可老费劲了,产品、策划甚至都不愿意用。
    hooopo
    hooopo
    OP
    Mar 4, 2021 via Android❤️1
    17
    @shunia 打算开放自定义查询 但需要会 sql 这个门槛有点高
    songhuangcn
    songhuangcn
    Mar 4, 2021
    18
    高产大佬
    Showfom
    Showfom
    PRO
    Mar 4, 2021❤️1
    19
    这后台的 UI 布局分布和同类型产品 umami 也太像了吧

    https://github.com/mikecao/umami
    https://umami.is/
    hooopo
    hooopo
    OP
    Mar 4, 2021
    20
    @Showfom 和 umami 没有关系哇 抄了点 plausible 的 ui umami 功能有点弱
    ashong
    ashong
    Mar 4, 2021
    21
    厉害

    和 matomo 比性能如何?
    Showfom
    Showfom
    PRO
    Mar 4, 2021
    22
    @hooopo 对 功能比较弱
    hooopo
    hooopo
    OP
    Mar 4, 2021
    23
    @ashong 和 matomo 比性能?闭眼睛写都比 matomo 快吧
    hooopo
    hooopo
    OP
    Mar 4, 2021
    24
    @Showfom 感觉性能也不会好 mysql 存储 collector 是 nodejs 的
    Showfom
    Showfom
    PRO
    Mar 4, 2021
    25
    @ashong Matomo 有啥性能= = 访问量一大后台卡的和屎一样
    fwee
    fwee
    Mar 4, 2021❤️1
    26
    太高产了
    LittleYangYang
    LittleYangYang
    Mar 4, 2021
    27
    不错不错
    PS: 地图里面中国好像少了一个岛.....
    hooopo
    hooopo
    OP
    Mar 4, 2021
    28
    @LittleYangYang 国家或地区。。。
    eason1874
    eason1874
    Mar 5, 2021
    29
    用了 OpenResty,如果同时在 log_by_lua 阶段实现服务端统计,配合前端 JS 统计将是绝杀。一站式统计,啥请求,啥状态码都躲不过,adblock 了也不管用,只是少点客户端信息。

    @ashong #21 我在用 Matomo,关掉了浏览器实时归档,每天新打开还至少等十几秒,报告筛选也差不多十来秒。这玩意儿跟性能只能说毫不相干,也就是功能齐全这个优点能令人选择它了。
    terranboy
    terranboy
    Mar 5, 2021
    30
    Matomo 是不是就是以前的 piwik,我记得数据量大了要用 memcache 之类的配置 以前用了还行
    hooopo
    hooopo
    OP
    Mar 5, 2021
    31
    @eason1874 并没有少客户端信息哇
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    32
    @terranboy 免费版也就那样了
    eason1874
    eason1874
    Mar 5, 2021
    33
    @terranboy #30 是以前的 piwik,我没配置任何内存缓存,看来得试试。官方优化指南网页没提过这回事,我按指南配置好,后台显示《太好了!您的 Matomo 设置没有任何问题。为自己鼓掌!》,然后每次新打开就是几秒到十几秒。


    @hooopo #31 日志阶段能统计到的也就普通 HTTP 请求的信息了,会少一些客户端信息,比如分辨率、鼠标焦点、停留时间。我现在就是日志阶段统计的,网页没放统计代码。
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    34
    @eason1874 纯日志分析当然不行啦 我的是有 tracker 的 目标是提供和 ga 同样的功能
    iphantom
    iphantom
    Mar 5, 2021
    35
    支持 点赞
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    36
    @iphantom 👏
    yuthelloworld
    yuthelloworld
    Mar 5, 2021
    37
    作为个人站长 最关心的还是 UV 和 PV
    yuthelloworld
    yuthelloworld
    Mar 5, 2021
    38
    不是 docker 环境是不是就不能部署?
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    39
    @yuthelloworld 可以的哇 之后会补文档
    yuthelloworld
    yuthelloworld
    Mar 5, 2021
    40
    @hooopo #39 坐等 ,试水
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    41
    @yuthelloworld 好的 有用户就有动力了
    impl
    impl
    Mar 5, 2021
    42
    纳尼?用 Rails 写的?
    hooopo
    hooopo
    OP
    Mar 5, 2021 via Android
    43
    @impl 是啊
    yanyanlongxia
    yanyanlongxia
    Mar 7, 2021
    44
    坐等项目成熟后在部署
    hooopo
    hooopo
    OP
    Mar 7, 2021 via Android
    45
    yuthelloworld
    yuthelloworld
    Mar 8, 2021
    46
    @hooopo #45 大佬快出个虚机部署教程,我的大刀已饥渴难耐
    hooopo
    hooopo
    OP
    Mar 8, 2021 via Android
    47
    @yuthelloworld docker compose 可以吗
    yuthelloworld
    yuthelloworld
    Mar 8, 2021
    48
    @hooopo #47 没有搞 DOCKER,就是一个裸的云服务器- -
    hooopo
    hooopo
    OP
    Mar 8, 2021 via Android
    49
    @yuthelloworld 装一个哇 又不麻烦
    yuthelloworld
    yuthelloworld
    Mar 8, 2021
    50
    @hooopo #49 网站和数据库都在上面 ,不会影响吗
    hooopo
    hooopo
    OP
    Mar 8, 2021 via Android
    51
    @yuthelloworld 不会 我目前也是和其他网站部署在一台服务器 docker compose 部署的这个 其他服务是主机上部署
    dreamramon
    dreamramon
    Mar 8, 2021
    52
    就是 plausible 嘛,楼主也计划像 plausible 那样收费?
    hooopo
    hooopo
    OP
    Mar 8, 2021 via Android
    53
    @dreamramon 估计会比 plausible 强大一些 plausible 的卖点是隐私 我的卖点是功能全,几乎能做到和 ga 一样的功能 另外就是私有部署和系统集成方便 saas 版收点服务器钱也是要的吧
    firefox12
    firefox12
    Mar 9, 2021
    54
    我想问问 这个 GA 的客户端 js 是啥样,可以收集那些信息,可以定制收集某些信息吗?
    hooopo
    hooopo
    OP
    Mar 9, 2021 via Android
    55
    @firefox12 是基于 Google analytics v4 你可以在 hackershare.dev 里查看 支持各种自定义 event 并且内置电商模块 ga 文档写的很清楚
    firefox12
    firefox12
    Mar 9, 2021
    56
    @hooopo 不太懂, 我记得原来 是加入一个 js 在 站点里,https://www.googletagmanager.com/gtag/js?xxx 还可以收到广告费之类, 你这个是把这个 js 重写了吗? 还是后端统计 pv uv 的后端?我想看看 那个 js 做了点什么
    hooopo
    hooopo
    OP
    Mar 9, 2021
    57
    @firefox12 你注册一下 我的 demo 站 你就明白了
    hantsy
    hantsy
    Mar 9, 2021
    58
    这 UI 好专业啊。
    hooopo
    hooopo
    OP
    Mar 9, 2021 via Android
    59
    waytocode
    waytocode
    Mar 11, 2021
    60
    去 themeforest 买一套模板不可以么
    hooopo
    hooopo
    OP
    Mar 12, 2021 via Android
    61
    @waytocode 也是一个办法
    yanyanlongxia
    yanyanlongxia
    Apr 4, 2021
    62
    请问能不能增加国内各省份访问量统计呀?(非常想知道用户来自哪个省份或城市,但是有不想用百度统计或 Google Analytics)
    hooopo
    hooopo
    OP
    Apr 5, 2021
    63
    @yanyanlongxia 有的 已经是到 city 级别的 但准确度取决于 ip 库了
    hooopo
    hooopo
    OP
    Apr 5, 2021
    64
    @yanyanlongxia 最近在加一个 measurement protocol,很多电商用户想自己后台发送订单相关信息进去
    yanyanlongxia
    yanyanlongxia
    Apr 10, 2021
    65
    请问 1c0.5G 的小鸡用来部署这个项目够吗?只是自己用,每天访问人数不会超过 100 。
    hooopo
    hooopo
    OP
    Apr 11, 2021 via Android
    66
    @yanyanlongxia 这…… 我得看看可不可以优化一下支持这种配置
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1957 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 79ms · UTC 00:40 · PVG 08:40 · LAX 16:40 · JFK 19:40
    ♥ Do have faith in what you're doing.