大数据量 join 操作

[Asan]

• 一个数据文件记录数在 100 万左右，记作 a ；
• 另一个数据文件记录数在 40 万左右，记作 b。

a 和 b 通过字段 C 是有关联的，现在要把 a left join b，把 a 中的某些字段的值从 b 中补充过来。目前的做法是两个文件的数据分别建表入 MySQL，然后 join 操作，但是性能吃紧。想问下懂大数据的 v 友，使用大数据技术有没有更好的解决方案。

目前自己调研是使用 Hbase Hive SparkSQL 去搞，但是自己之前没有搞过大数据不知道这个调研结果是否可以

[loading]

先试下分页，每次都全量，io 吧。

[zeraba]

C 字段两个表都加好索引 类型和表的字符集保持一致，这点数据不算啥大数据

[31p7410]

这个数据量太小了,hive 就能搞定

[crazypig14]

这点数据量 mysql 确定不行？ explain 过 sql 了么？

[SmiteChow]

数据量不大 索引建好了 不费事