mysql2ch，一个同步 MySQL 数据到 ClickHouse 的项目

[jenlors]

不久之前发布了初代版本的帖子，https://www.v2ex.com/t/647495#reply5，经过一段时间的升级之后，mysql2ch 升级到了 2.0 版本，功能更完善，跪求各位 star~👉mysql2ch

---

mysql2ch

Introduction

mysql2ch is used to sync data from MySQL to ClickHouse.

Requirements

• kafka
• docker & docker-compose

Usage

Full data etl

$ python manage.py etl -h

usage: manage.py etl [-h] --schema SCHEMA --tables TABLES [--debug]

optional arguments:
  -h, --help       show this help message and exit
  --schema SCHEMA  Schema to full etl.
  --tables TABLES  Tables to full etl,multiple tables split with comma.
  --debug          Display SQL information.

Continuous Sync

1. cp .env.example .env and edit it.
2. edit docker-compose.yml,which will read .env,add your own consumer.One consumer consume one kafka partition.
3. docker-compose up -d.

Optional

• sentry,error reporting,worked if set SENTRY_DSN in .env.

[ericFork]

解析 binlog 往 kafka 里填的部分是自己实现的么？

[jenlors]

不是，只需要配置好就行了。

[jenlors]

@ericFork

[ericFork]

@long2ice #2 哦，我的意思是，是你自己造的轮子么？我们是类似的流程，postgresql -> kafka -> clickhouse，不过 postgresql -> kafka 这一步是用 debezium 达成的

[jenlors]

@ericFork 哦哦，借助了 python-mysql-replication 解析 binlog