CZA Native Codec
バイトストリームを解析し、データ特性に応じて可逆圧縮を行い、元データをバイト単位で正確に復元する中核エンジン。
ファイルを小さくする技術から、データを守る形式へ
WITIVEは、独自設計の可逆圧縮コーデックCZA Native Codecと、ファイルやディレクトリを安全に保存するCZA Archive Formatの中核技術を開発した。新形式は.cza拡張子を使用し、WITIVEの圧縮ソリューションCONZIPへの搭載を予定している。
CZAは既存の圧縮エンジンを単にまとめたファイル形式ではない。実証された圧縮理論を基盤に、CZA独自のトークンモデル、コンテキスト構成、ブロック判定、ビットストリーム、プロファイルを設計し、独立した仕様と実装へ発展させたWITIVEの独自技術である。
CZA Archive Format
ファイル、フォルダー、メタデータ、インデックス、完全性情報を一つの.czaファイルに格納する新しいアーカイブ形式。
CONZIP
CZAを使いやすくする圧縮・展開画面、コマンドラインツール、将来のSDKを結ぶ製品レイヤー。
コーデックとアーカイブを同時に設計した理由
CZA Native Codecは純粋なデータストリームの圧縮と展開を担当し、CZA Archive Formatはファイル一覧、ディレクトリ、メタデータ、インデックス、パス安全性、保存手順を担当する。責任を分離することで、圧縮アルゴリズムを改善した後も既存ファイルの復元互換性を維持できるよう設計した。
各ブロックのデータ特性を分析して適切なモードを選択し、コンテナ版とコーデックのビットストリーム版を独立して管理する。長期保管データの復元可能性と将来の機能拡張を同時に考慮した設計である。
用途に応じて選べる三つの圧縮プロファイル
Fastは低遅延と制限されたメモリ、Balancedは圧縮率と処理速度のバランス、Maximumは圧縮率を優先する。利用者は作業目的とシステム環境に応じて適切なプロファイルを選択できる。
同一の入力と設定から同じ結果を生成する決定論的エンコードを目指し、デコーダーには出力サイズ、メモリ、ブロック、処理量の上限を設定して、異常な入力による過剰なリソース消費を防ぐ。
圧縮率より先に検証する正確な復元と完全性
CZA開発の第一基準は100％可逆の復元である。ブロックとフレーム単位のエラー検出、アーカイブのメタデータとデータ検証、切断・過大入力を拒否するFail-closed方針、危険なパスを遮断する展開手順を組み込んだ。
社内開発検証では、テスト入力と復元結果のSHA-256一致を確認し、WindowsとLinux環境で往復テストを行った。限定的な2MiBのCソースコード試験ではCZA FastがLZ4とSnappyより小さい出力を記録したが、WITIVEはこれを一般化した最高性能の主張には用いず、より幅広いデータ分類と外部環境で検証を継続する。
CONZIPから始まり、ストレージ技術全体へ
WITIVEはCZAをCONZIPの新しい圧縮方式として接続し、ベータ配布を通じて実際のファイルと利用環境における圧縮率、速度、メモリ使用量、互換性を高度化する。
その後、CLIとSDK、大容量ファイルのストリーミング、分割アーカイブ、ローカル重複排除、クラウドストレージ連携へ適用範囲を広げ、独自のデータ保存技術エコシステムを構築する方針である。
Author's Note
