はじめに
下記の圧縮形式のファイルは、COPYコマンドでオプションを指定することで、解凍せずにロードすることが可能です。[圧縮形式]
・BZIP
・GZIP
・LZO
以下に、COPYコマンドで圧縮したファイルをロードする方法をご紹介します。
構文
COPYコマンドで圧縮したファイルをロードする構文は以下になります。COPY <テーブル名> from ‘<圧縮したファイル名>‘ < BZIP/GZIP/LZO > ・・・
実行例
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
/* BZIPで圧縮したファイルをロードする例 */ dbadmin=> copy part from '/home/dbadmin/part.tbl.bz2' BZIP direct; Rows Loaded ------------- 1400000 (1 row) /* GZIPで圧縮したファイルをロードする例 */ dbadmin=> copy part from '/home/dbadmin/part.tbl.gz' GZIP direct; Rows Loaded ------------- 1400000 (1 row) /* LZOで圧縮したファイルをロードする例 */ dbadmin=> copy part from '/home/dbadmin/part.tbl.lzo' LZO direct; Rows Loaded ------------- 1400000 (1 row) |
制限事項
・LZOの圧縮形式のファイルをCOPYコマンドで使用する場合、以下の圧縮レベルとオプションで圧縮されたファイルをサポートしています。[圧縮レベル]
-1 ～ -9
–fast
–best
[オプション]
-F
–no-checksum
–crc32
–adler32
・ORCまたはParquet形式のファイルは、BZIP、GZIP、およびLZOの圧縮形式を使用することはできません。
