TokenGate 연구진은 기존 언어모델에 작은 게이트를 추가해 긴 문맥에서 중요한 토큰만 후속 층으로 보내는 학습 방식을 공개했다. 토큰 중요도로 어텐션을 조정해 선택 과정을 학습하며 Qwen3 같은 일반 트랜스포머와 Qwen3.5 같은 혼합 구조에 적용한다. 저자 측 시험에서는 정확도 저하 없이 첫 토큰 시간이 1.411.3배 빨라지고 입력 처리의 최대 메모리가 1.53.4배 줄었다. 공개 코드는 보존 토큰 수를 조절하는 예제를 제공하지만 기존 모델에 설치만 하면 모든 작업에서 최대 개선을 얻는다는 뜻은 아니다.