16GB 환경에서는 클로드 같은 API 사용이 더 낫다는 의견이 나왔다. RAG는 맥미니에서 간단히 구성하고, 리랭커·임베딩은 GX10에 올리며 추론은 API 크레딧을 쓰는 구성이 제안됐다. Qwen 계열·MoE·덴스 모델의 속도와 품질, 대형 모델 구동에 필요한 GPU·전력 부담도 함께 언급됐다.
- GX10에 리랭커와 임베딩을 올리는 분리 구성이 제안됐다.
- 추론은 API 크레딧 활용을 고려하자는 의견이 나왔다.
- MoE와 덴스 모델의 성능 특성을 비교했다.
- 대형 모델은 모델 이동 시간과 GPU 자원 부담이 크다는 반응이 나왔다.