TokenGate 연구진은 기존 언어모델에 작은 게이트를 추가해 긴 문맥에서 중요한 토큰만 후속 층으로 보내는 학습 방식을 공개했다. 토큰 중요도로 어텐션을 조정해 선택 과정을 학습하며 Qwen3 같은 일반 트랜스포머와 Qwen3.5 같은 혼합 구조에 적용한다. 저자 측 시험에서는 정확도 저하 없이 첫 토큰 시간이 1.411.3배 빨라지고 입력 처리의 최대 메모리가 1.53.4배 줄었다. 공개 코드는 보존 토큰 수를 조절하는 예제를 제공하지만 기존 모델에 설치만 하면 모든 작업에서 최대 개선을 얻는다는 뜻은 아니다.
Tech 목록으로
TokenGate, 학습형 토큰 선택으로 긴 입력 처리 단축
연구진이 첫 토큰 대기 시간 개선을 보고했지만 별도 적응 학습과 작업별 정확도 확인이 필요한 방법이다.