CZA Native Codec
Công cụ cốt lõi phân tích luồng byte, nén không mất dữ liệu theo đặc điểm dữ liệu và khôi phục bản gốc chính xác đến từng byte.
Từ công nghệ giảm dung lượng đến định dạng bảo vệ dữ liệu
WITIVE đã phát triển công nghệ cốt lõi của bộ mã hóa không mất dữ liệu CZA Native Codec và CZA Archive Format, định dạng lưu trữ an toàn tệp và thư mục. Định dạng mới sử dụng phần mở rộng .cza và dự kiến được tích hợp vào giải pháp nén CONZIP của WITIVE.
CZA không phải là định dạng chỉ đóng gói các công cụ nén hiện có. Dựa trên lý thuyết nén đã được kiểm chứng, WITIVE tự thiết kế mô hình token, cấu trúc ngữ cảnh, quyết định theo block, bitstream và các profile riêng của CZA, sau đó phát triển thành một đặc tả và triển khai độc lập.
CZA Archive Format
Định dạng lưu trữ mới chứa tệp, thư mục, siêu dữ liệu, chỉ mục và thông tin toàn vẹn trong một tệp .cza duy nhất.
CONZIP
Lớp sản phẩm kết nối CZA với giao diện nén và giải nén dễ sử dụng, công cụ dòng lệnh và SDK trong tương lai.
Lý do codec và định dạng lưu trữ được thiết kế cùng nhau
CZA Native Codec phụ trách nén và giải nén luồng dữ liệu thuần, trong khi CZA Archive Format quản lý danh sách tệp, thư mục, siêu dữ liệu, chỉ mục, an toàn đường dẫn và quy trình lưu trữ. Việc tách trách nhiệm giúp duy trì khả năng khôi phục các tệp hiện có ngay cả khi thuật toán nén tiếp tục được cải tiến.
Thiết kế phân tích đặc điểm của từng block để chọn chế độ phù hợp, đồng thời quản lý độc lập phiên bản container và phiên bản bitstream của codec. Cách tiếp cận này cân nhắc cả khả năng khôi phục dữ liệu lưu trữ lâu dài và khả năng mở rộng trong tương lai.
Ba profile nén cho các mục đích khác nhau
Fast ưu tiên độ trễ thấp và bộ nhớ giới hạn, Balanced cân bằng tỷ lệ nén với tốc độ xử lý, còn Maximum ưu tiên tỷ lệ nén. Người dùng có thể chọn profile phù hợp với công việc và môi trường hệ thống.
CZA hướng đến mã hóa xác định, tạo cùng một kết quả từ cùng dữ liệu và cài đặt. Các giới hạn của bộ giải mã về kích thước đầu ra, bộ nhớ, số block và khối lượng công việc ngăn dữ liệu bất thường tiêu thụ quá nhiều tài nguyên hệ thống.
Khôi phục chính xác và toàn vẹn được kiểm chứng trước tỷ lệ nén
Tiêu chí đầu tiên trong phát triển CZA là khôi phục không mất dữ liệu 100%. Hệ thống kết hợp phát hiện lỗi theo block và frame, xác minh siêu dữ liệu và dữ liệu lưu trữ, chính sách fail-closed từ chối đầu vào bị cắt hoặc quá lớn, cùng quy trình giải nén chặn các đường dẫn không an toàn.
Quá trình xác minh nội bộ đã xác nhận SHA-256 của dữ liệu thử nghiệm và dữ liệu khôi phục trùng khớp, đồng thời thực hiện kiểm tra khứ hồi trên Windows và Linux. Trong một thử nghiệm giới hạn với 2 MiB mã nguồn C, CZA Fast cho đầu ra nhỏ hơn LZ4 và Snappy. WITIVE không dùng kết quả này để khẳng định hiệu năng tốt nhất một cách tổng quát và sẽ tiếp tục kiểm chứng trên nhiều nhóm dữ liệu cùng môi trường bên ngoài.
Bắt đầu từ CONZIP và mở rộng ra toàn bộ công nghệ lưu trữ
WITIVE sẽ kết nối CZA như một phương thức nén mới trong CONZIP và cải thiện tỷ lệ nén, tốc độ, mức sử dụng bộ nhớ và khả năng tương thích với tệp cùng môi trường thực tế thông qua bản beta.
Sau đó, công ty hướng tới mở rộng phạm vi ứng dụng qua CLI và SDK, truyền tệp dung lượng lớn, kho lưu trữ chia phần, khử trùng lặp cục bộ và tích hợp lưu trữ đám mây, qua đó xây dựng hệ sinh thái công nghệ lưu trữ dữ liệu độc quyền.
Author's Note
