Zyphra의 Hierarchical Attention은 키를 계층적으로 요약한 트리에서 질의와 관련된 부분을 탐색하면서 원래 키와 값을 유지하는 구조다. 모든 토큰을 일괄 비교하는 대신 선택적 탐색으로 긴 문맥 처리 비용을 줄이려는 접근이다. 회사는 사전학습 모델에 증류로 적용하는 방식도 설명했다. 다만 큰 문맥 길이에서 제시한 가속 효과는 성능 모델에 기반한 추정으로, 탐색 기준과 하드웨어, 정확도 유지 조건을 실제 작업에서 별도로 검증해야 한다.