로컬 LLM - Tech | yshome

Tech로 돌아가기

2026-09-10 AI

Kimi K3 전체 모델이 Mac과 SSD 4개에서 초당 1토큰을 냈습니다

소비자 장비 실행 가능성은 확인됐지만 긴 첫 응답과 1.7TB 저장공간이 실사용을 제한합니다
- Kimi
- 로컬 LLM
- Apple Silicon
2026-09-10 AI

Qwen3.8 27B는 4비트에서도 작업 성능을 유지했습니다

로컬 모델은 압축률보다 실제 작업 점수와 컨텍스트까지 담을 메모리를 기준으로 골라야 합니다
- Qwen
- 로컬 LLM
- 양자화