新手问个关于 Hive 的问题

[yangbin9317]

问一下计算 Hive 通过 where 筛选出来的数据所占的磁盘空间。

有如下表 table

CREATE EXTERNAL TABLE `table`(
  `some_data`,
  `type` string
PARTITIONED BY (
  `dt` string,
  `hour` string)
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://table'

假设希望计算 type=1 的数据大小，我是这样做的

新建表

CREATE EXTERNAL TABLE `tmp_table`(
  `some_data` string,
  `typeDontQuery` string
PARTITIONED BY (
  `dt` string,
  `type` string)
STORED AS INPUTFORMAT
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://tmp_table'

把 table 中的数据按 type 分区插入到新建的tmp_table中，SQL 如下

INSERT OVERWRITE TABLE tmp_table
PARTITION (dt=20180101, type=1)
SELECT some_data, type AS typeDontQuery
WHERE dt=20180101 AND type=1
FROM table;

结果发现 tmp_table中type=1分区比table中这一天所有type所占的空间还要大很多

我是这样查分区大小的hadoop fs -du -h hdfs://table/dt=20180101和hadoop fs -du -h hdfs://tmp_table/dt=20180101/type=1

想问一下问题出在哪里

[widewing]

因为 load 进去的数据压缩了吧

[yangbin9317]

@widewing 两个表都是 rcfile 模式

[widewing]

rcfile 也是可选压不压的吧 insert 进去的默认不给压缩吧

[yangbin9317]

@yangbin9317 谢了 我再看看文档