目次
はじめに
本記事では、Verticaのデータロードに関する記事をまとめています。「データロードの基本を学ぶ」の記事は各バージョンに特有の内容を含みます。
「データロードの基本操作」/「データロードコマンドのTips」/「データロード関連記事」の内容は、基本的にバージョンを問わず参考にしていただけます。
データロードの基本を学ぶ
9.3以降のバージョンを利用中の場合
Vertica特有のデータ格納方式をご紹介します。Verticaのデータ格納方式(バージョン9.3以降)
http://vertica-tech.ashisuto.co.jp/wayofdatastore/
データロードの具体的な方法をご紹介します。
Verticaのデータロード方法
http://vertica-tech.ashisuto.co.jp/vertica_dataload/
Verticaの内部的なデータ整理の仕組みを紹介します。
Verticaにおける格納データ整理の仕組み
http://vertica-tech.ashisuto.co.jp/mergeout/
9.2以前のバージョンを利用中の場合
データロードの基本http://vertica-tech.ashisuto.co.jp/dataload_overview/
CSVデータのロード方法
http://vertica-tech.ashisuto.co.jp/load-csv/
データロードの基本操作
COPYコマンドの基本操作をご紹介します。複数のCSVファイルを纏めてロードする方法
http://vertica-tech.ashisuto.co.jp/load-for-multi-files/
固定長データのロード方法
http://vertica-tech.ashisuto.co.jp/load-fixedwidth/
vsqlでリモートサーバのデータベースにデータをロードする方法
http://vertica-tech.ashisuto.co.jp/client_copy/
CSVフォーマットのパーサを使用してロードする方法
http://vertica-tech.ashisuto.co.jp/load-fcsvparser/
データロードコマンドのTips
COPYコマンドのオプション使用例をご紹介します。「￥」を文字データとしてロードする方法
http://vertica-tech.ashisuto.co.jp/data-loading-including-backslash/
copyコマンドでCSVファイルの先頭から複数行を読み飛ばす方法
http://vertica-tech.ashisuto.co.jp/copy_skip/
データロードで不正データがある場合にスキップする方法
http://vertica-tech.ashisuto.co.jp/copy_enforcelength/
データロードで不正データがある場合にロールバックする方法
http://vertica-tech.ashisuto.co.jp/load_error_rollback/
特定列のみ囲み文字が指定されているデータをロードする方法
http://vertica-tech.ashisuto.co.jp/load-specific-column-enclose/
COPYコマンドでCSVの特定の列をロード対象外とする方法
http://vertica-tech.ashisuto.co.jp/copy_filler/
データロード時に関数などを使用しロードする方法
http://vertica-tech.ashisuto.co.jp/data_load_function/
標準出力の結果をテーブルにロードする方法
http://vertica-tech.ashisuto.co.jp/copy-from-stdin/
改行をデータとしてロードする方法
http://vertica-tech.ashisuto.co.jp/record-teminator/
S3のデータをVerticaにロードする/外部表を使用してS3内のデータファイルを検索する
http://vertica-tech.ashisuto.co.jp/copy_directly_s3/
圧縮されたファイルをCOPYコマンドでロードする方法
http://vertica-tech.ashisuto.co.jp/comp_copy/
COPYでロードに成功/失敗した件数を確認する方法
http://vertica-tech.ashisuto.co.jp/copy_accept_reject_rows/
HDFS上のデータをVerticaのテーブルにロードする方法(Hadoop連携)
http://vertica-tech.ashisuto.co.jp/hdfs_connect_load/
一般ユーザでCOPYコマンドを利用する方法
http://vertica-tech.ashisuto.co.jp/copy_user_privileges/
データロード関連記事
データロード時の留意事項等をご紹介します。NULLデータロード時の注意事項
http://vertica-tech.ashisuto.co.jp/notes-for-null-data-load/
Verticaで既存環境のテーブルのDDLとデータを一括で抽出する方法
http://vertica-tech.ashisuto.co.jp/export-all-data/
テーブルにデフォルトのロード方式を設定する方法(8.0新機能)
http://vertica-tech.ashisuto.co.jp/set_default_road_mode/
空文字データとNULLデータINSERT時の差異
http://vertica-tech.ashisuto.co.jp/difference-null-and-empty/
テーブル内の重複データを確認する方法
http://vertica-tech.ashisuto.co.jp/check-overlap-data/
データロード時の状況を確認する方法
http://vertica-tech.ashisuto.co.jp/data_load_status/
更新履歴
2020/04/27 バージョン9.3対応記事を追加、および追加に伴い記載記事を整理2019/07/19 「CSVフォーマットのパーサを使用してロードする方法」の記事を追記
2019/07/16 「データロード時に関数などを使用しロードする方法」の記事を追記
2015/08/24 本記事を公開
