PythonGitHub에서 보기 →
로컬 환경에서 LLM을 직접 실행·파인튜닝·배포하려는 개발자와 연구자에게 유용하다.
- LLM, 디퓨전, 임베딩, 오디오 모델을 로컬에서 실행하고 훈련할 수 있다.
- LoRA, QLoRA, 풀 파인튜닝, GRPO/DPO 등 강화학습을 포함한 다양한 학습 방식을 지원한다.
- CPU, NVIDIA, AMD, Intel, macOS 및 멀티 GPU 환경을 지원한다.
- Claude Code, Codex 등 에이전트와 MCP를 통해 로컬 모델을 도구 호출·코드 실행에 연결할 수 있다.
- GGUF, NVFP4, FP8 등 다양한 포맷으로 모델을 내보내거나 OpenAI 호환 API로 배포할 수 있다.
설치: curl -fsSL https://unsloth.ai/install.sh | sh (Windows는 irm ...install.ps1 | iex), 또는 데스크톱 앱 다운로드