CZA Native Codec
바이트 스트림을 분석해 데이터 특성에 맞는 방식으로 무손실 압축하고, 원본을 바이트 단위까지 정확하게 복원하는 핵심 엔진이다.
파일을 줄이는 기술에서, 데이터를 지키는 형식으로
㈜위티브는 자체 설계한 무손실 압축 코덱 CZA Native Codec과 이를 파일·디렉터리 단위로 안전하게 보관하는 CZA Archive Format의 핵심 기술을 개발했다. 새 형식은 .cza 확장자를 사용하며, 위티브의 압축 솔루션 CONZIP에 적용될 예정이다.
CZA는 기존 압축 엔진을 단순히 묶은 파일 형식이 아니다. 검증된 압축 이론을 토대로 CZA 고유의 토큰 모델, 문맥 구성, 블록 의사결정, 비트스트림과 프로파일을 설계하고 이를 독립적인 규격과 구현으로 발전시킨 위티브의 독자 기술이다.
CZA Archive Format
파일·폴더·메타데이터·인덱스와 무결성 정보를 하나의 .cza 파일에 담는 새로운 아카이브 형식이다.
CONZIP
CZA를 사용자가 쉽게 활용할 수 있도록 압축·해제 화면, 명령줄 도구와 향후 SDK를 연결하는 제품 계층이다.
코덱과 아카이브를 함께 설계한 이유
CZA Native Codec은 순수한 데이터 스트림의 압축과 해제를 담당하고, CZA Archive Format은 파일 목록, 디렉터리, 메타데이터, 인덱스, 경로 안전성과 저장 절차를 담당한다. 두 계층의 책임을 분리해 압축 알고리즘을 개선하더라도 기존 파일의 복원 호환성을 유지할 수 있도록 설계했다.
블록마다 데이터 특성을 분석하고 적합한 모드를 선택하는 구조를 적용했으며, 컨테이너 버전과 코덱 비트스트림 버전을 독립적으로 관리한다. 이는 장기간 보관되는 데이터의 복원 가능성과 향후 기능 확장을 함께 고려한 결정이다.
용도에 따라 선택하는 세 가지 압축 프로파일
Fast는 낮은 지연과 제한된 메모리, Balanced는 압축률과 처리 속도의 균형, Maximum은 압축률을 우선하도록 설계했다. 사용자는 작업 목적과 시스템 환경에 따라 적합한 프로파일을 선택할 수 있다.
동일한 입력과 설정에서는 동일한 결과를 만드는 결정적 인코딩을 지향하며, 디코더에는 출력 크기·메모리·블록·작업량 상한을 두어 비정상 입력이 시스템 자원을 과도하게 사용하지 않도록 했다.
압축률보다 먼저 검증하는 정확한 복원과 무결성
CZA 개발의 첫 번째 기준은 100% 무손실 복원이다. 블록과 프레임 단위의 오류 검출, 아카이브 메타데이터와 데이터 검증, 잘린 입력과 과도한 크기의 입력을 거부하는 Fail-closed 정책, 위험한 경로를 차단하는 해제 절차를 함께 설계했다.
내부 개발 검증에서는 시험 입력의 원본과 복원 결과에 대해 SHA-256 일치를 확인하고 Windows와 Linux 환경의 왕복 테스트를 진행했다. 제한된 2MiB C 소스 코드 시험에서는 CZA Fast가 LZ4와 Snappy보다 작은 결과를 기록했으며, 위티브는 이를 일반화된 최고 성능 주장으로 사용하지 않고 다양한 데이터 분류와 외부 환경에서의 검증을 계속할 계획이다.
CONZIP에서 시작해 저장 기술 전반으로
위티브는 CZA를 CONZIP의 새로운 압축 방식으로 연결하고, 베타 배포를 통해 실제 파일과 사용 환경에서 압축률·속도·메모리 사용량·호환성을 고도화할 계획이다.
이후 CLI와 SDK, 대용량 파일 스트리밍, 분할 아카이브, 로컬 중복 제거와 클라우드 저장 연계로 기술 적용 범위를 넓혀 자체 데이터 저장 기술 생태계를 구축한다는 목표다.
Author's Note
