엔비디아가 장문 추론용 희소 어텐션을 설계할 때 고려할 여덟 가지 원칙을 소개했다. 제시한 128k 문맥 사례에서는 밀집 어텐션이 레이어 프리필 시간의 91%를 차지했지만 DeepSeek V3.2 방식에서는 인덱스와 상위 토큰 선택이 47%, 핵심 어텐션 연산이 24%로 병목이 이동했다. 키 헤드 공유와 블록 단위 배치, 커널 결합 및 정밀도 선택을 함께 조정해야 하는 이유다. 특정 구성의 분석이지 새 모델 출시나 모든 GPU의 동일한 가속 보장이 아니므로 실제 문맥 길이와 하드웨어에서 전체 지연을 측정해야 한다.