Issue #3392 — RawBlock Dynamic Slot Allocation

[!tldr] 업무 관점 takeaway daegyu94가 제안한 raw_block 슬롯 동적 할당. 고정 슬롯 크기 → 페이로드 크기 기반 동적 할당으로 내부 단편화 해소가 목표. HC SSD(15~30TB) 환경에서 layerwise / compression 워크로드 사용 시 실효 용량이 크게 늘 수 있다. 우리 H1(O(1)) / H2(FIFO) Task와 방향이 다른 독립 개선 — 단, 구현되면 슬롯 관리 코드 전반이 바뀌므로 H1/H2 PR 착수 전 진행 상황 확인 필요.

• Issue: LMCache/LMCache #3392
• 작성자: daegyu94 (2026-05-26)
• 레이블: new feature
• 상태: 논의 중 (2026-05-28 기준)

---

문제 — 고정 슬롯의 내부 단편화

현재 RawBlockCore는 모든 KV chunk를 고정 크기 슬롯에 저장한다.

slot_bytes = round_up(header_bytes + full_chunk_bytes, block_align)

페이로드가 슬롯보다 작으면 나머지 공간이 그냥 낭비된다.

케이스 1 — Partial (unfull) 청크

save_unfull_chunk=True 또는 PD(Prefill-Decode) 모드에서 발생:

Fixed Slot (512 KiB)
[##########..............................................] 50 KiB payload
[####################################################] 462 KiB 낭비

케이스 2 — 압축 워크로드

DeepSeek-V4처럼 레이어별 압축률이 다른 모델:

Slot (512 KiB)
Layer A (low compression):  [####################################....................]
Layer B (high compression): [############............................................]
Layer C (very high):        [######..................................................]

레이어 간 이질성이 높을수록 단편화가 누적되어 실효 용량이 줄어든다.

---

제안 — Dynamic Slot Allocator

daegyu94의 초안:

• 실제 페이로드 크기에 맞춰 슬롯 크기 결정
• bump-pointer 전략으로 용량 여유 시 빠른 순차 할당 유지
• power-of-two size class로 할당 단위 바운딩
• size class별 segmented free list로 해제된 영역 재사용
• size-aware allocation hint로 할당-퇴거 불일치 방지

Dynamic Allocation (예시)
[##########] 50 KiB slot
[##############] 80 KiB slot
[########################] 200 KiB slot

---

댓글 토론 요약 (DongDongJu ↔ daegyu94)

DongDongJu 제안 — Slab/Buddy 스타일

"완전 동적 할당보다는 Linux slab/slob/slub + buddy allocator 방식":

여러 고정 size class pool 사전 할당
  예: 64KB / 128KB / 256KB / 512KB

→ 요청 페이로드를 수용할 수 있는 가장 작은 class에서 할당
→ 해제 시 해당 class free list에 반환
→ 일부 pool은 GPU 측에 pin → read 성능 향상 가능

임의 가변 크기 할당보다 단순하고 예측 가능하면서도 단편화를 줄일 수 있다는 논리.

daegyu94 수렴안 (2026-05-28)

Full chunk:   기존 고정 슬롯 (모델 의존 slot_bytes 유지)
Partial chunk: size-class pool (소형 페이로드 전용)

열린 설계 질문:

항목	내용
Partial/Full 비율	예: Partial 20% / Full 80% — 설정 가능해야 함
size class 범위	예: 64KB ~ 1024KB, 몇 개 클래스?
Fallback 방향	Partial → Full fallback 허용? Full 용량 예약 필요. Full → Partial은 split/merge 복잡도 때문에 피해야 함
eviction 영향	할당 실패 시 퇴거 정책이 size class를 인지해야 함

---

우리 Task와의 관계

항목	관계
H1 (_free_slots O(1))	고정 슬롯 구조 전제. 동적 할당 구현 시 _free_slots 자체가 바뀌므로 H1보다 먼저 #3392 방향 확정 필요
H2 (FIFO deque)	동일. deque 교체는 단순하지만 슬롯 구조 변경 시 재작업 가능
S2 (checkpoint overflow)	슬롯 수가 늘어날 수 있어 (동적 할당 → 슬롯 수 증가) S2 수정 우선순위가 더 올라감
FDP placement	슬롯이 가변 크기가 되면 placement hint 단위도 재검토 필요

[!note] H1/H2 착수 전 확인 포인트 #3392가 빠르게 구현 방향이 잡히면 H1/H2를 먼저 올리는 게 낭비가 될 수 있다. 반대로 #3392가 장기 설계 논의로 이어지면 H1/H2는 독립적으로 진행해도 무방. 이슈 진행 상황을 주기적으로 체크.

---

HC SSD 관점

HC SSD(15~30TB) 환경에서 layerwise=True + 고압축 모델을 쓰면 단편화 손실이 누적된다. 동적 할당이 구현되면:

• 실효 용량 증가 → 캐시 hit rate 향상
• S2(checkpoint overflow) 임계점도 슬롯 수 기반이므로 함께 재계산 필요

---

관련 페이지

• [[raw_block-개선-Task]] — H1/H2 Task (고정 슬롯 기반 개선, #3392와 방향 교차)
• [[raw_block-내부구조]] — 현재 고정 슬롯 구조 상세
• [[S2-checkpoint-overflow]] — 슬롯 수 증가 시 영향 받는 버그