自建大数据平台，发现迁移数据好慢。

[findbrick]

之前一直在阿里云上使用，最近在做数据迁移，工作倒是还算顺利，就是数据太大，拉取好慢。 不知道大家都是怎么迁移的，目前我们是使用阿里云 oss 做中转，然后下载到自建集群上。

[gouchaoer]

经验就是一股脑把数据复制到 hdfs 里面，然后导入 spark/hive 最快，都是阿里云内网迁移的话速度应该很快

[gouchaoer]

我写了一个从数据库迁移到 hive 得，如果是集群迁移到集群得话直接复制 hdfs 比较快吧

[gouchaoer]

https://github.com/gouchaoer/Increment_Backup_To_Hive

[lilongn1]

阿里云做大数据不是进去容易出来难吗

[findbrick]

@gouchaoer 自建机群 不是阿里云的 是自己的机房
@lilongn1 再难也得出来啊

[likuku]

问问阿里云是否支持自己寄送硬盘到 IDC，让阿里云直接帮把数据导出到自己硬盘上带走的服务(类似 aws snowball)

[icemanpro]

@likuku 云市场有这服务。

[icemanpro]

@likuku 看错了，有导入的。

[findbrick]

@likuku 亚马逊可以上门对拷 开大货车 哈哈

[WeberXie]

带着硬盘直接去机房拷贝吧

[findbrick]

@WeberXie 几个 T 的数据不至于上门啊

[4KMOMhIkocgLELMt]

@findbrick 家里 100M 电信宽带每秒下载 12M，一天也能下 1T 咋…