Parquet エクスプローラー

ローカルの Parquet ファイルを開き、スキーマと行グループを確認し、選んだ列を仮想テーブルで閲覧します。

入力内容とファイルはブラウザ内に留まります

Parquet ファイルをここにドロップ

Parquet ファイルをここにドロップ

.parquet ファイル 1 つ。この端末に残ります。

フッタ、選択した列、書き出しは Web Worker で読みます。ファイル内容とスキーマは送信も保存もしません。

エクスプローラー

Parquet ファイルを選ぶと、スキーマ、行グループ、列の仮想プレビューが表示されます。

このページの内容

Parquet エクスプローラーは Apache Parquet をブラウザの中だけで開きます。フッタからスキーマと行グループの統計を読み、チェックした列だけをデコードするため、幅や行数の大きいファイルを 1 枚の HTML 表にしなくて済みます。

詳細な機能

ファイルはこの端末に残ります。Web Worker は PAR1 フッタをスライスで読み、最上位の列、物理型と論理型、繰り返し、各列の圧縮コーデックを示します。行グループには行数と圧縮サイズが出ます。表は仮想化されています。スクロールすると、チェックした列の小さな行窓だけを要求します。

JavaScript の数値に収まらない INT64 などの整数は十進の桁を保ちます。タイムスタンプは UTC の ISO-8601 文字列になります。バイナリのセルは小文字の十六進です。入れ子の構造とリストは JSON です。重複した列名には番号を付け、JSONL のキーを一意にします。

CSV と JSONL は画面上の行だけでなく、選択した列のすべての行を走査します。CSV の数式保護は既定でオンです。出力は 512 MiB で止まります。対応コーデックは非圧縮、Snappy、gzip、Brotli、Zstd、LZ4、LZ4_RAW です。LZO のページは展開できません。フィルタ、並べ替え、集計、Parquet の書き込みはありません。

実用例

平坦な列: name(文字列)と id(INT64)を持つファイルは両方の列がチェックされた状態で開きます。9007199254740993 のような id は、表、CSV、JSONL で同じ十進表記のままです。

列の投影: 「すべて選択」を外し、name だけを残してスクロールします。その表示では他の列チャンクをデコードしません。書き出しもチェックした列だけです。

複数の行グループ: 一覧には各グループの行数とコーデックが出ます。表はそれらを 1 本の行の並びとして読みます。

数式に見える文字列: 保護がオンのとき、=1+1 は CSV では '=1+1 になります。JSONL は元の文字列を保ちます。

このツールの使い方

  1. ローカルファイルを開く

    .parquet をドロップまたは選択します。フッタの読み取りではバイト数、速度、経過時間が見えます。取り消してからファイルを選び直すと最初からになります。

  2. スキーマを読む

    列の型、繰り返し、圧縮を確認し、次に行グループの大きさを見ます。フッタにメタデータの組があれば表示します。

  3. 列を閲覧する

    不要な列のチェックを外します。仮想テーブルをスクロールし、行を選ぶと長いセル値を読めます。

  4. 書き出す

    CSV または JSONL を選びます。先頭文字をそのまま要らない限り、CSV の数式保護はオンのままにします。ダウンロードはチェックした列のすべての行を、512 MiB まで書き出します。

ヒントとベストプラクティス

  • 今の表とダウンロードでデコードされるのはチェックした列だけです。キーだけ欲しいときは大きなバイナリ列を外してください。
  • 列チャンクはまとめて展開されるため、ファイルの残りをスライスで読んでいても、1 つの巨大な値でメモリを大きく使うことがあります。
  • JSONL は、安全な JavaScript 数値に収まらない整数を丸めた数ではなく十進の文字列として書きます。
  • 最上位の列が 512 を超えるファイルは拒否します。行グループは先頭 500 件を一覧し、要約の件数には残りも含みます。
  • LZO には対応していません。非圧縮、Snappy、gzip、Brotli、Zstd、LZ4、LZ4_RAW には対応しています。
  • このページは SQL を実行しません。並べ替え、グループ化、Parquet の書き込みは別の作業です。

次の改善にご協力ください

次に何を改善すべきですか?

候補を1つ選んでください。これらは案であり、提供を約束する機能ではありません。

1つ選択してください

投票では選択肢だけを匿名の集計値として送信します。入力内容、ファイルデータ、URL、Cookie、識別子は含まず、このブラウザーにも保存しません。ページを再読み込みすると再度投票できます。