램 4GB 노트북에서 Opus급 모델을 로컬 구동하고 싶다는 질문이 나왔다. 최상위급 모델은 고성능 GPU 여러 장이 필요한 수준이라 4GB 환경에서는 사실상 불가능하며, 1B~3B급 4비트 양자화 모델을 Ollama나 llama.cpp로 체험하는 정도가 현실적이라는 답이 제시됐다. 이후 M5 Pro 48GB 환경에서 가능한 최고 성능 로컬 모델과 35B Q4 모델의 실제 메모리 점유량에 대한 추가 질문이 이어졌지만 답변은 나오지 않았다.
- 4GB RAM에서는 운영체제와 기본 프로그램만으로도 자원이 부족하다는 설명이 나왔다.
- 1B~3B급 모델의 4비트 양자화가 현실적인 대안으로 제시됐다.
- Ollama와 llama.cpp가 가벼운 로컬 실행 도구로 언급됐다.
- 고성능 추론·코딩이 필요하면 API를 쓰고 로컬은 체험용으로 쓰라는 결론이 나왔다.