IFP 뜯어보기 — '질문을 읽고 필요한 부분만 켜는' 모델 (Instruction-Following Pruning)
Apple의 Instruction-Following Pruning(arXiv 2501.02086)을 실제 동작 단계까지 도식으로 따라갑니다. Sparsity Predictor·SoftTopK·FFN 가지치기·2단계 학습, 그리고 입력이 정확히 무엇이고 언제 한 번 고르는가(멀티턴 아님)까지.
#IFP
#가지치기
#sparsity
#LLM
#Apple
#온디바이스AI