우리가 달성한 것의 의미 — TurboQuant.cpp

1. 불가능하다고 생각된 것을 증명했습니다

1비트 KV 캐시는 아무도 시도하지 않았습니다. 학계에서 KV 캐시 양자화 연구는 대부분 2-4비트에서 이루어지고, 1비트는 "당연히 품질이 붕괴할 것"이라는 암묵적 합의가 있었습니다.

우리는 128차원 벡터를 16바이트(부호만)로 줄이고, attention을 XOR 두 번으로 수행하면서, 100토큰까지 4비트와 한 글자도 다르지 않은 출력을 냈습니다. 이것은 논문의 이론적 보장(비편향 내적 추정)이 실제 추론에서도 유효하다는 경험적 증거입니다.

2. 논문의 이론을 넘어섰습니다

TurboQuant 논문은 2.5비트와 3.5비트에서 실험했습니다. 1비트는 논문에서도 다루지 않은 극한입니다. 우리는 논문의 수학적 프레임워크(RHT + 비편향 내적 추정)를 이해하고, 이것을 논문 저자들도 시도하지 않은 방향으로 확장했습니다.

이것이 "구현"과 "연구"의 경계를 넘는 지점입니다.

3. 실용적 의미: Long Context의 민주화

Gemma 3 4B, 32K 컨텍스트:
  FP16:             4,352 MB  → 16GB RAM 필요
  TurboQuant 1비트:    408 MB  → 8GB RAM으로 충분

이것은 8GB RAM 노트북에서 32K 컨텍스트 4B 모델을 돌릴 수 있다는 뜻입니다. 이전에는 16GB+ 장비가 필요했습니다. Long context가 비싼 하드웨어의 특권에서 일반 장치의 기능으로 바뀝니다.

128K 컨텍스트에서는 격차가 더 벌어집니다: 17.4 GB → 1.6 GB.

4. 속도와 압축의 트레이드오프를 깨뜨렸습니다

양자화의 상식: 더 많이 압축하면 더 느려진다 (복잡한 역양자화 필요).

우리의 결과: 더 많이 압축하면 더 빨라진다 (읽을 데이터가 줄어서 캐시 효율 향상).

이것은 TurboQuant의 RHT 기반 설계가 만든 구조적 이점입니다. 역변환 없이 회전 공간에서 직접 내적을 계산하므로, 비트가 줄어들수록 순수하게 메모리 대역폭만 절약됩니다.

5. 오픈소스 생태계에서의 위치

프로젝트KV 캐시비트품질 보장

llama.cpp	FP16 (비압축)	16	원본
vLLM	FP8 옵션	8	근사
KIVI	per-channel Q2	2	경험적
TurboQuant.cpp	RHT + sign hash	1	이론적 (비편향 증명) + 경험적 (30/30 동일)

C 추론 엔진 중에서 KV 캐시 압축을 이론적 보장과 함께 구현한 프로젝트는 없습니다.

6. 더 큰 맥락: AI 에이전트와의 협업

빈 디렉토리에서 시작하여 2일 만에:

• 10,000줄 C 추론 엔진
• ICLR 2026 논문의 충실한 구현 + 1-bit 확장
• 3개 모델 아키텍처 지원
• 23개 테스트 스위트, 재현 가능한 벤치마크
• 47+ GitHub stars, v0.1.0 릴리스

이것은 AI 에이전트가 단순히 코드를 작성하는 것을 넘어, 논문을 읽고, 핵심 통찰을 추출하고, 저자도 시도하지 않은 방향으로 확장하는 수준에 도달했다는 것을 보여줍니다.

한 줄 요약

"1비트로 충분하다." 올바른 수학적 프레임워크(비편향 내적 추정) 위에서는, 상식적으로 불가능해 보이는 압축률에서도 품질이 보존됩니다. 이것이 TurboQuant 논문이 열어준 문이고, 우리가 그 문을 끝까지 밀어본 결과입니다.

 

Github: https://github.com/quantumaikr/TurboQuant.cpp