はじめに

HadoopやSparkに格納されるログデータ、IoTデバイス等からのセンサーデータなどは、半構造化データを採用していることが多いと言われます。

多くのデータベースでは、これらのデータを事前に構造化データに変換する必要がありますが、
VerticaのFlex Table機能を使用することでETL処理を行わず、テーブルに直接取り込むことができます。

また、Flex Tableを作成する際は列定義を行う必要はありません。
そのため、半構造化データを簡単にデータベースに取り込むことができます。

Flex Tableの作成

Flex TableはCREATE FLEX TABLE文にて作成します。
Flex Tableを作成する際はテーブル名を指定するだけで、列を定義する必要はありません。


JSONデータのロード


ロード対象のJSONファイルを確認します。


JSONデータをロードします。
特別なツールを使用する必要は無く、Vertica標準のロードコマンドであるCOPYコマンドでロードすることができます。今回はJSONデータをロードするので、COPY文のPARSER句に「fjsonparser」を指定します。




ロードデータの確認

ロード後は通常テーブルと同様にSELECT文でデータを検索することができます。



サポート対象外のSQL

2017/03/31時点で、以下のSQLがFlex Tbaleではサポートされておりませんのでご注意ください。
・CREATE TABLE flex_table AS…
・CREATE TABLE flex_table LIKE…
・SELECT INTO
・UPDATE
・MERGE

<補足情報>
Vertica8.1より「CREATE TABLE flex_table AS…」がサポートされました。
詳細は以下の記事よりご確認ください。

Flex Table 8.1新機能 CREATE TABLE AS SELECTのサポート
http://vertica-tech.ashisuto.co.jp/flex_table_create_as_select/


検証バージョンについて

この記事の内容はVertica 8.0で確認しています。