로컬 LLM | Tech
기술 소식을 전하고 배경과 출처를 함께 소개합니다.
Qwen3.8 27B는 4비트에서도 작업 성능을 유지했습니다
로컬 모델은 압축률보다 실제 작업 점수와 컨텍스트까지 담을 메모리를 기준으로 골라야 합니다
Kimi K3 전체 모델이 Mac과 SSD 4개에서 초당 1토큰을 냈습니다
소비자 장비 실행 가능성은 확인됐지만 긴 첫 응답과 1.7TB 저장공간이 실사용을 제한합니다
더 볼 글이 없습니다.
기술 소식을 전하고 배경과 출처를 함께 소개합니다.
로컬 모델은 압축률보다 실제 작업 점수와 컨텍스트까지 담을 메모리를 기준으로 골라야 합니다
소비자 장비 실행 가능성은 확인됐지만 긴 첫 응답과 1.7TB 저장공간이 실사용을 제한합니다
더 볼 글이 없습니다.