Parquet エクスプローラー
ローカルの Parquet ファイルを開き、スキーマと行グループを確認し、選んだ列を仮想テーブルで閲覧します。
入力内容とファイルはブラウザ内に留まります
Parquet ファイルをここにドロップ
Parquet ファイルをここにドロップ
.parquet ファイル 1 つ。この端末に残ります。
フッタ、選択した列、書き出しは Web Worker で読みます。ファイル内容とスキーマは送信も保存もしません。
Parquet ファイルを選ぶと、スキーマ、行グループ、列の仮想プレビューが表示されます。
スキーマ
行グループ
ファイルのメタデータ
先頭のメタデータ組だけを表示しています。
表示および書き出す列
選択した行
長いセル値を見るには、表の行を選択してください。
画面上の値は短縮されています。書き出しはセル上限まで値を保持します。
選択した列を書き出す
推奨: 表計算が =、+、-、@ の数式として実行しうるセルの先頭にアポストロフィを付けます。
数式の保護はオフです。CSV は元の値を保ちますが、表計算で開くと危険な場合があります。
書き出しは選択した列のすべての行を読みます。完成したファイルはブラウザが保持する必要があり、上限は 512 MiB です。
選択した列チャンクはまとめて展開されます。入れ子の値は JSON になります。INT64 は十進の表記を保ちます。非圧縮、Snappy、gzip、Brotli、Zstd、LZ4、LZ4_RAW に対応します。LZO は非対応です。SQL フィルタ、並べ替え、Parquet の書き込みはありません。
このページの内容
Parquet エクスプローラーは Apache Parquet をブラウザの中だけで開きます。フッタからスキーマと行グループの統計を読み、チェックした列だけをデコードするため、幅や行数の大きいファイルを 1 枚の HTML 表にしなくて済みます。
詳細な機能
ファイルはこの端末に残ります。Web Worker は PAR1 フッタをスライスで読み、最上位の列、物理型と論理型、繰り返し、各列の圧縮コーデックを示します。行グループには行数と圧縮サイズが出ます。表は仮想化されています。スクロールすると、チェックした列の小さな行窓だけを要求します。
JavaScript の数値に収まらない INT64 などの整数は十進の桁を保ちます。タイムスタンプは UTC の ISO-8601 文字列になります。バイナリのセルは小文字の十六進です。入れ子の構造とリストは JSON です。重複した列名には番号を付け、JSONL のキーを一意にします。
CSV と JSONL は画面上の行だけでなく、選択した列のすべての行を走査します。CSV の数式保護は既定でオンです。出力は 512 MiB で止まります。対応コーデックは非圧縮、Snappy、gzip、Brotli、Zstd、LZ4、LZ4_RAW です。LZO のページは展開できません。フィルタ、並べ替え、集計、Parquet の書き込みはありません。
実用例
平坦な列: name(文字列)と id(INT64)を持つファイルは両方の列がチェックされた状態で開きます。9007199254740993 のような id は、表、CSV、JSONL で同じ十進表記のままです。
列の投影: 「すべて選択」を外し、name だけを残してスクロールします。その表示では他の列チャンクをデコードしません。書き出しもチェックした列だけです。
複数の行グループ: 一覧には各グループの行数とコーデックが出ます。表はそれらを 1 本の行の並びとして読みます。
数式に見える文字列: 保護がオンのとき、=1+1 は CSV では '=1+1 になります。JSONL は元の文字列を保ちます。
このツールの使い方
ローカルファイルを開く
.parquetをドロップまたは選択します。フッタの読み取りではバイト数、速度、経過時間が見えます。取り消してからファイルを選び直すと最初からになります。スキーマを読む
列の型、繰り返し、圧縮を確認し、次に行グループの大きさを見ます。フッタにメタデータの組があれば表示します。
列を閲覧する
不要な列のチェックを外します。仮想テーブルをスクロールし、行を選ぶと長いセル値を読めます。
書き出す
CSV または JSONL を選びます。先頭文字をそのまま要らない限り、CSV の数式保護はオンのままにします。ダウンロードはチェックした列のすべての行を、512 MiB まで書き出します。
ヒントとベストプラクティス
- 今の表とダウンロードでデコードされるのはチェックした列だけです。キーだけ欲しいときは大きなバイナリ列を外してください。
- 列チャンクはまとめて展開されるため、ファイルの残りをスライスで読んでいても、1 つの巨大な値でメモリを大きく使うことがあります。
- JSONL は、安全な JavaScript 数値に収まらない整数を丸めた数ではなく十進の文字列として書きます。
- 最上位の列が 512 を超えるファイルは拒否します。行グループは先頭 500 件を一覧し、要約の件数には残りも含みます。
- LZO には対応していません。非圧縮、Snappy、gzip、Brotli、Zstd、LZ4、LZ4_RAW には対応しています。
- このページは SQL を実行しません。並べ替え、グループ化、Parquet の書き込みは別の作業です。