๐ ny-wiki โ ์ ์ฒด ๋ชฉ์ฐจ
Storage ํ์ฌ System SW ํ์ NVMe FDP/HC-SSD ร LMCache ์ต์ ํ ๋ฏธ์ ์ํค. ์ด์ ๊ท์น์ CLAUDE.md ์ฐธ์กฐ. ๋ชจ๋ ํ์ด์ง๋ ์ฒซ ์ฝ์์์ ์ ๋ฌด ๊ด์ takeaway๊ฐ ๋ค์ด๊ฐ๋ค. ์ํค๋งํฌ
[[ํ์ด์ง๋ช ]]์ ํด๋ ์์น์ ๋ฌด๊ดํ๊ฒ ๋์ (Obsidian์ด ์ด๋ฆ์ผ๋ก resolve).
๐๏ธ ์งํ ์ค์ธ ์
๋ฌด โ work/โ
์ง๊ธ ์๋๊ณ ์๋ ๊ฒ๋ค. ์๋ฃ๋๋ฉด ํ์ผ๋ช ์์
[Done]ํ์.
- [[๋จ๊ธฐ-Task-๋ชฉ๋ก]] โ ์งํ ์คยท์์ 5๊ฐ Task (L2 latency histogram ์ธ).
- [[raw_block-๊ฐ์ -Task]] โ H1/H2/M1/M2/S2 ๋ ๋ฆฝ PR ๋ชฉ๋ก (S1 ์ฐฉ์ ๊ธ์ง).
- [[raw_block-Cleanup-PR]] โ ์ฒซ PR ํ๋ณด: dead code ์ ๋ฆฌ 3๊ฑด, 53/53 ํ ์คํธ ํต๊ณผ.
raw_block PR ์นดํ๋ก๊ทธ โ work/reviews/ (PR ๋ณ๊ฒฝ๋ด์ฉ + ์ํคํ
์ฒ ๊ด์ )
| PR/์ปค๋ฐ | ์์ฑ์ | ๋ด์ฉ |
|---|---|---|
| [[raw_block-batched-remove-PR|batched_remove #3494]] | ์ฐ๋ฆฌ | ์ญ์ ๊ฒฝ๋ก ๋ฝ Nโ2 (OPEN) |
| [[raw_block-put_many-lock-PR|L1 put_many lock]] | ์ฐ๋ฆฌ | put_many ๋ฝ 4Nโ2N |
| [[raw_block-put_many-batching-PR|L2 put_many batching]] | ์ฐ๋ฆฌ | per-key fan-out โ ๋ฐฐ์น |
| [[raw_block-delete-toctou-PR|delete TOCTOU]] | ๊ถ์์ค | ์ ์ฐ race ์์ (T1) |
| [[raw_block-checkpoint-recovery-PR|checkpoint recovery]] | daegyu94 | partial recovery |
| [[raw_block-LRU-eviction-PR|LRU eviction]] | daegyu94 | ์ฌ๋กฏ ๋ถ์กฑ evict ์ฌ์๋ |
| [[raw_block-blkdiscard-PR|blkdiscard]] | ๊ถ์์ค | init ์ BLKDISCARD |
| [[raw_block-checkpoint-compression-PR|checkpoint compression #3449]] | Daejun | zlib ์์ถ, Std SSD S2 ํด์ |
ํ ์ด์/PR ๋ชจ๋ํฐ๋ง โ work/issues/
| # | ์์ฑ์ | ์ ๋ชฉ | ์ํ |
|---|---|---|---|
| [[Issue-3394-NonMP-Eviction|#3394]] | daegyu94 | non-MP eviction ๋ณต๊ตฌ | Issue open, PR ์์ |
| [[Issue-3392-Dynamic-Slot-Allocation|#3392]] | daegyu94 | Dynamic Slot Allocation | Issue open |
| [[PR-3305-Checksum|#3305]] | daegyu94 | payload ์ฒดํฌ์ฌ ๊ฒ์ฆ | Draft PR |
| [[PR-3226-Incremental-Checkpoint|#3226]] | Daejun | incremental checkpoint | APPROVED, ๋จธ์ง ๋๊ธฐ |
| [[PR-3274-IoUring-NVMe|#3274]] | ankit-sam | io_uring_cmd NVMe passthrough | ๊ฐฑ์ ์ค |
| [[Issue-3262-Distributed-MP-RFC|#3262]] | DongDongJu | RFC: Distributed MP ์ค๊ณ | ํ ๋ก ์ค |
๐ฏ ๋ฏธ์
& ๋ฐฉํฅ์ฑ โ 00-mission/โ
- [[Mission]] โ ์ํค ์ ์ฒด์ ์ขํ์ถ. 3๋ ๋ฐฉํฅ(๊ฒ์ฆ/์ต์ ํ/๊ธฐ์ฌ)๊ณผ ํ์ฌ ํฌ์ง์ ๋.
- [[๊ธฐ์ฌ-ํฌ์ธํธ-๋งต]] โ Storage Stack 5๊ฐ ๋ ์ด์ด, 11๊ฐ ๊ธฐ์ฌ ํฌ์ธํธ ๋ง์คํฐ ์ธ๋ฑ์ค.
- [[Samsung-LMCache-ํ]] โ ์ผ์ฑ ํ์ ๊ตฌ์ฑ, ๊ธฐ์ฌ ์์ญ, ์คํ PR, ์ฐ๋ฆฌ๊ฐ ๋ ธ๋ฆด ๋น ์๋ฆฌ.
- [[LMCache-๊ธฐ์ฌ-๊ฐ์ด๋]] โ ์ฝ๋ ๊ท์น, PR ํ์, ์ด์ ๋ฑ๋ก ๊ธฐ์ค, ์ฐ๋ฆฌ ํ ํจ์น ํจํด.
- [[LMCache-Claude-Skills]] โ
/pre-pr-checkยท/create-prยท/pr-review์ฌ์ฉ๋ฒ ๋ฐ ์ํฌํ๋ก์ฐ.
๐ง LMCache (AI Cache SW) โ 10-lmcache/โ
- [[LMCache-๊ฐ์]] โ ๋ ผ๋ฌธ ๊ธฐ๋ฐ motivation/contribution. chunk batching์ด ํต์ฌ.
- [[LMCache-์ํคํ ์ฒ]] โ 4-tier ร 2-mode ร 5-component ์ ์ฒด ๊ทธ๋ฆผ. ์ฐ๋ฆฌ๊ฐ ์๋ ์๋ฆฌ.
- [[LMCache-Local-Disk-Backend]] โ NVMe์ ๋ง๋๋ ์ ํํ ์ฝ๋. ์ฒญํฌ=ํ์ผ, async write, O_DIRECT.
- [[LMCache-Async-Loading]] โ I/OโCompute Overlap,
batched_async_contains. - [[LMCache-MP-NonMP-๋ชจ๋]] โ MP(๋ณ๋ ์๋ฒ/ZMQ) vs Non-MP(vLLM ์๋ฒ ๋). FDP plugin์ MP์
L2AdapterInterface๋ง ๊ตฌํ. - [[LMCache-๋์์ฑ-๋น๋๊ธฐ-๊ธฐ์ด]] โ Lock(์ถ์ ์ฆ)/Future(์ง๋๋ฒจ)/eventfd(๋์ด๋ฒจ). ๋ฝ ์์ ์ ์ ์ ๊ฐ๋ .
- [[L2-์ด๋ํฐ]] โ L2AdapterInterface ๊ณ์ฝ, Store/Prefetch ํ๋ฆ, FDP placement ์ฝ์ ์ง์ .
- [[Plugin-Pipeline]] โ ์ธ๋ถ ๋ฐฑ์๋(FDP ํฌํจ)๋ฅผ LMCache์ ๋ฑ๋กํ๋ plugin ๋ฉ์ปค๋์ฆ.
- [[AI-Memory-ํ๋ซํผ]] โ Tensormesh(ํด๋ฌ์คํฐ KV ๊ณต์ )ยทWEKA(distributed NVMe) + Samsung FDP์ ์์น.
raw_block (์ฐ๋ฆฌ ํต์ฌ ์์ญ) โ 10-lmcache/raw_block/
- [[raw_block-๋ด๋ถ๊ตฌ์กฐ]] โ ๋๋ฐ์ด์ค ๋ ์ด์์, ์ฌ๋กฏ ๊ตฌ์กฐ, write/read path, checkpoint ์กฐ๊ฑด Q&A.
- [[raw_block-์ข ๋จ-๋ถ์]] โ raw_block L1~L4 ์ ๊ณ์ธต. FDP ์ฝ์ ์ง์ H1-H8, io_uring ํํฉ, HC-SSD ์ค์ผ์ผ ์ํ.
- [[raw_block-io_uring-cmd]] โ PR #3274 ๋ถ์. io_uring_cmd passthrough ๊ตฌํ, big SQE 128B, FDP ์ฐ๋ ๊ธฐ๋ฐ.
- [[raw_block-์ฑ๋ฅ-์ฐ์ ์์]] โ ์ข ํฉ ์ฑ๋ฅ ๋ถ์ ์ฐ์ ์์(T1/L1/L2/P0โฆ). raw_block ๊ธฐ์ฌ PR๋ค์ ์ถ์ฒ.
- [[raw_block-PR-Landscape]] โ ์ด๋ฆฐ PR 12๊ฐ โ ์ฐ์ ์์ ๋งคํ, #3274 ์ปค๋ฒ ๋ฒ์, ๋ฏธ์ฐฉ์ Gap(G1~G4) (2026-06-05).
- [[raw_block-CI-์ปค๋ฒ๋ฆฌ์ง]] โ PR CI ์ฌ๊ฐ์ง๋(O_DIRECTยท๋ฉํฐํ๋ก์ธ์คยท์ฃผ๊ธฐ์ ์ฒดํฌํฌ์ธํธ), ์ค์ฅ ํ ์คํธ ํ์ ์กฐ๊ฑด.
- [[S2-checkpoint-overflow]] โ checkpoint silent fail ๋ฒ๊ทธ. #3449 zlib ์์ถ์ผ๋ก Std SSD ํด์, HC SSD(15/30TB) ์์กด.
๐ค AI ์ถ๋ก ๊ธฐ์ด โ 20-ai-inference/โ
- [[KV-Cache]] โ ์ฐ๋ฆฌ ๋ฏธ์ ์ ๋ฐ์ดํฐ ๊ฐ์ฒด. lifetime ๋ถ๊ท ์ผ์ด WAF ์์ธ.
- [[vLLM-PagedAttention]] โ page scatter ๋นํจ์จ โ LMCache chunk batching์ ๋๊ธฐ.
- [[PD-Disaggregation]] โ Prefill โ Decode ๋ถ๋ฆฌ. Transport Mode์ ๋ฐฐ๊ฒฝ.
- [[TTFT-ITL]] โ ์ฌ์ฉ์ ์ฒด๊ฐ KPI. SSD โ ์ฌ์ฉ์ ์ธ๊ณผ ์ฌ์ฌ์ ๋.
๐พ NVMe / SSD ๊ธฐ์ด โ 30-nvme-ssd/โ
- [[NAND-Flash-๊ธฐ์ด]] โ Page/Block, erase-before-write, Append Point.
- [[WAF]] โ Write Amplification Factor. ๊ฐ์ฅ ์ ๋์ ์ธ KPI.
- [[Garbage-Collection]] โ WAF์ ์ง์ ๋ฉ์ปค๋์ฆ.
- [[NVMe-FDP]] โ ์ฐ๋ฆฌ ํต์ฌ HW ๊ธฐ์ . RU/RUH/RG/PH/EG.
- [[HC-SSD]] โ QLC ๊ธฐ๋ฐ ๋์ฉ๋. FDP ํจ๊ณผ๊ฐ ๊ฐ์ฅ ํฐ ๋ฏธ๋์ด.
- [[๋ฐ์ดํฐ-๋ฐฐ์น-๊ธฐ์ -์ญ์ฌ]] โ OCSSD/Streams/ZNS/FDP. ์คํจ์์ ๋ฐฐ์ด ์ค๊ณ.
- [[CacheLib-FDP-์ฌ๋ก]] โ Meta ์ฌ๋ก: WAF 3.5 โ ~1.0. ์ฐ๋ฆฌ ๊ฐ์ค์ ์ธ๋ถ ์ฆ๊ฑฐ.
- [[FDP-SSD-LMCache-PoC]] โ LMCache์์ FDP ๋ฐฐ์น ์ ๋ต 3๊ฐ์ง (prompt๋ณ/๋จ๊ณ๋ณ/TP ์์ปค๋ณ).
๐ ๏ธ Storage Stack & System SW โ 40-storage-stack/โ
- [[Storage-Stack]] โ FS โ Block โ NVMe โ SSD 4๋ ์ด์ด ์ขํ๊ณ.
- [[O_DIRECT]] โ Page Cache ์ฐํ. ์ธก์ ์ ๋ช ๋ฃ์ฑ.
- [[io_uring]] โ ์ง์ง async I/O + FDP hint ์ ๋ฌ ๊ฒฝ๋ก.
๐ฎ GPU ร Storage ์ฐ๋ โ 50-gpu-storage/โ
- [[GPU-Direct-Storage]] โ CPU ์ฐํ. FDP์ ๊ฒฐํฉ ์ ๊ฐ์ฅ ๊น์ ์ง๊ฒฐ ๊ฒฝ๋ก.
๐ ์์ ์ด๋ ฅโ
- log.md โ ์๋ฃ ์ถ๊ฐ / ํ์ด์ง ์์ฑยท๊ฐฑ์ / ๊ฑด๊ฐ๊ฒ์ง ์ด๋ ฅ.
๐ญ ์์ง ๋น์ด์๋ ์์ญ (์์ผ๋ก ์ฑ์ธ ํ๋ณด)โ
- [[๊ธฐ์ฌ-ํฌ์ธํธ-๋งต]] [4] FS ์ ํ โ ext4/xfs/f2fs ๋น๊ต โ
40-storage-stack/ - [[๊ธฐ์ฌ-ํฌ์ธํธ-๋งต]] [6] I/O Scheduler ํ๋ โ
40-storage-stack/ - LMCache GDS Backend ๊ตฌํ ๋ถ์ (FDP Backend ๋ ํผ๋ฐ์ค์ฉ) โ
10-lmcache/ - vLLM ํตํฉ ์ด๋ํฐ ์ฝ๋ (
integration/vllm/) โ10-lmcache/ - NIXL / Mooncake (Transport Mode ๋ฐฑ์๋) โ
10-lmcache/ - xNVMe ๋ผ์ด๋ธ๋ฌ๋ฆฌ (FDP-aware ์ถ์ํ) โ
40-storage-stack/ - SPDK FDP ๊ฒฝ๋ก (์ปค๋ ์ฐํ๊น์ง) โ
40-storage-stack/