Swift, MetalGitHub에서 보기 →
저사양 Apple Silicon 맥에서 대형 언어 모델을 로컬로 돌려보고 싶은 개발자
- 14.3GB 모델 전체를 메모리에 올리지 않고 필요한 expert만 SSD에서 스트리밍한다.
- 8GB RAM Apple Silicon 맥에서도 동작하도록 설계된 모델 전용 런타임이다.
- 네이티브 Mac 앱, CLI, OpenAI 호환 로컬 서버를 함께 제공한다.
- Metal로 양자화 GEMV, attention, MoE, RoPE 등 커스텀 커널을 직접 구현했다.
- M2에서 5.1-6.3 tok/s, M5 Pro에서 31-35 tok/s의 실측 디코드 속도를 제공한다.
설치: swift build -c release 후 .build/release/TurboFieldfareMac 실행, 앱에서 모델 다운로드