目前项目中使用的是星环的 TDH 平台，采取 sql bulkload 的方式将 Inceptor 的数据加载到 HBASE 中，300 万行的数据量插入大概耗时 3 分钟，2000 万行的数据(大概在 1G)的 10 分钟左右,全量数据大概是 4 亿行数据左右。。所以差不多 20G 左右...尝试插了 3 亿的数据，时间在 1 个小时以上。。。查看了相关文档，说在预分 region 可以提高插入的效率。。。具体没怎么找到如何去预分 region。。另这里的建表 采取的是星环的 HYPERDRIVE 表建法。。。对于行建 rowkey 的设计采取了几个需要查询的字段加上主键的方式拼接。。希望有大佬可以给一哈这个效率解决方案！！感谢~~
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.