Hugging Face가 tokenizers v1 릴리스 후보의 인코딩과 디코딩 성능 개선을 소개했다. 기존 토큰 ID와 API 호환을 목표로 작업 버퍼 재사용, 반복 단어 캐시, SIMD 분할과 스레드 간 잠금 경합 완화 등을 적용했다. 일부 모델과 입력에서 큰 개선을 제시했지만 지원되지 않는 패턴은 기존 정규식 경로를 사용한다. 대규모 요청에서는 GPU뿐 아니라 CPU 전처리 병목을 실제 데이터로 측정할 계기다.