00:26-00:28AI 모델·프롬프트
Qwen3.8-27B 공개
Qwen3.8-27B 공개 소식과 Hugging Face 링크가 공유됐다. 이 모델은 277억 파라미터급 오픈소스 멀티모달 모델이며 긴 컨텍스트와 에이전틱 코딩·컴퓨터 사용을 표방하는 로컬 구동형 모델로 소개됐다. 참가자들은 로컬에서 내려받아 테스트하려고 했다.
00:33-00:46AI 모델·프롬프트
27B 오퍼스급 논쟁
Qwen3.8-27B가 Opus 4.6급이라는 성능 주장에 대해 강한 회의론이 나왔다. 27B 규모 로컬 모델이 최상위 클라우드 모델과 동급일 가능성은 낮고, 벤치마크 치팅 가능성도 점검해야 한다는 의견이 주를 이뤘다. API로 먼저 써본 뒤 하드웨어 구매를 판단하자는 실용적 제안도 나왔다.
- 27B 파라미터 모델의 최상위 폐쇄형 모델 동급 주장을 의심했다.
- 모델 규모와 실제 체감 성능은 구분해서 봐야 한다는 의견이 나왔다.
- 벤치마크 결과만 믿지 말고 직접 API·로컬 테스트를 하자는 제안이 있었다.
- 로컬 모델 실행을 위해 대용량 메모리 맥북 구매를 고민하는 대화가 이어졌다.
01:23-01:26도구·라이브러리
로컬 서빙 도구 테스트
Qwen 모델을 내려받은 뒤 bf16·Q8 같은 양자화 선택과 함께 서빙 도구를 비교 테스트하려는 계획이 공유됐다. Unsloth, vLLM, Ollama, LM Studio 네 가지 도구가 테스트 대상으로 언급됐다. 에이전트 구성에서는 라우팅별 시스템 프롬프트와 RAG·검색 파이프라인 분리가 중요하다는 경험도 공유됐다.
- bf16과 Q8 등 정밀도·양자화 설정을 두고 고민이 나왔다.
- Unsloth, vLLM, Ollama, LM Studio를 비교 테스트하려 했다.
- 라우팅별 시스템 프롬프트를 별도로 설계하는 방식이 소개됐다.
- RAG 작업과 검색 작업은 적합한 아키텍처를 분리해 구성했다.
- 일반 웹 검색은 토큰 사용량이 커질 수 있다는 경험이 언급됐다.
01:24-01:26워크플로우·방법론
에이전트 라우팅 구성
커뮤니티 봇은 특정 고가 모델 하나만 쓰기보다 작업별 라우팅과 시스템 프롬프트 설계로 구성됐다는 설명이 나왔다. RAG가 필요한 요청은 RAG 아키텍처로 보내고, 검색 요청은 RAG와 검색 서비스를 함께 돌리도록 분리했다. 이처럼 하네스와 라우팅 설계가 체감 품질을 좌우한다는 인식이 공유됐다.
- 작업별 모델·도구 라우팅이 핵심 구성 요소로 소개됐다.
- 각 라우팅에 맞춰 시스템 프롬프트를 개별 설계했다.
- RAG가 필요한 작업은 전용 아키텍처로 분기했다.
- 검색 작업은 RAG와 검색 서비스를 결합해 처리했다.
22:56-22:59도구·라이브러리
ThisCode 메모리·활용
Claude 구독자가 Hermes 대신 ThisCode를 쓸 만한지 질문이 나왔다. ThisCode에도 장기 메모리를 붙일 수 있는지 확인 요청이 이어졌다. 같은 플러그인의 KM을 쓰면 장기 메모리를 붙일 수 있다는 의견이 제시됐다.
- Claude 구독 환경에서 Hermes 대체재로 ThisCode 활용 가능성을 물었다.
- ThisCode의 장기 메모리 지원 여부가 핵심 관심사였다.
- KM 플러그인을 통한 장기 메모리 구성이 언급됐다.
23:14-23:38질문·트러블슈팅
윈도우 Aside 대안
윈도우에서 Aside를 대체할 크롤링 플러그인이나 도구를 찾는 질문이 나왔다. 간단한 웹 검색 용도로는 인세인서치가 Perplexity와 비슷하게 느껴진다는 사용 경험이 공유됐다.
- 윈도우 환경에서 Aside 대체 수단을 찾았다.
- 크롤링 플러그인과 웹 검색 도구가 후보군으로 언급됐다.
- 인세인서치는 간단한 검색에서 Perplexity와 유사하다는 체감 의견이 나왔다.
23:40-23:45질문·트러블슈팅
Aside 후기와 계정 분리
Aside 브라우저 후기를 한글·영문 자료로 교차검증해 보수적으로 정리해 달라는 요청이 있었다. 이어 Claude와 Codex 다중 계정을 브라우저에서 충돌 없이 쓰는 방법이 논의 주제로 제기됐다. 크롬 세션당 계정 하나만 쓰는 방식 외의 대안이 있는지 물었다.
- Aside 브라우저의 실제 사용자 후기를 교차검증하려는 요청이 있었다.
- 해당 도구는 아직 크롬 중심으로 인식된다는 반응이 나왔다.
- 다중 AI 계정 사용 시 브라우저 조작과 세션 충돌 방지가 과제로 제시됐다.
00:33-00:40도구·라이브러리
로컬 모델 장비 선택
Qwen3.8-27B를 로컬에서 돌리기 위해 128GB 메모리 맥북 구매와 기존 연구실 서버 활용을 두고 대화가 오갔다. Mac Studio의 메모리 구성, 저장공간 업그레이드, 메모리 수급 문제도 언급됐다. MLX를 활용한 맥 로컬 구동도 제안됐다.
- 대용량 메모리 맥북 구매 필요성을 두고 고민이 나왔다.
- 연구실 서버가 있으면 별도 장비 구매를 줄일 수 있다는 의견이 제시됐다.
- Mac Studio의 메모리 구성 제약과 제품 단종 이야기가 언급됐다.
- 맥에서 로컬 모델을 돌리는 수단으로 MLX가 거론됐다.
00:41-00:47AI 모델·프롬프트
중국 모델과 논문 활용
중국계 모델을 논문 작성·독해에 활용하는 문제를 두고 대화가 있었다. 중국 모델은 논문 관련 작업을 잘한다는 의견과, 로컬 소형 모델만으로 논문을 양산하기는 어렵다는 반론이 맞섰다. 정확한 글에서는 모델 크기보다 근거 확인이 중요하다는 견해도 나왔다.
- 논문 작성에 LLM을 쓰는 방식 자체에 낯설다는 반응이 있었다.
- 중국 모델이 논문 관련 작업에서 강점이 있다는 의견이 제시됐다.
- 로컬 모델과 클라우드 모델의 활용 가능성은 분리해서 봐야 한다는 주장이 나왔다.
- 정확성은 모델 성능뿐 아니라 근거 검증에 달려 있다는 의견이 언급됐다.
00:46-00:47AI 모델·프롬프트
GLM 5.3 추천
GLM 5.3이 좋은 모델이라는 짧은 추천이 나왔다. 이에 따라 해당 모델을 찾아보겠다는 반응이 이어졌다.
- GLM 5.3이 추천 모델로 언급됐다.
- 추천을 받은 참여자는 후속 탐색 의사를 보였다.
01:31-01:42질문·트러블슈팅
Qwen 다운로드·양자화
Qwen3.8-27B 다운로드 시간이 예상보다 길고 중단되는 문제가 공유됐다. 한 참여자는 8비트 대신 4비트를 먼저 받기로 했고, 다른 참여자는 8비트 다운로드가 초반에 끊겼다고 했다. 14인치 기기에는 8비트가 부담될 수 있다는 의견도 나왔다.
- 모델 파일 다운로드 시간이 예상보다 길었다.
- 8비트 다운로드가 중단된 사례가 언급됐다.
- 빠른 테스트를 위해 4비트 양자화를 먼저 선택하는 방법이 나왔다.
- 소형 노트북에서는 8비트 모델 구동이 부담될 수 있다는 의견이 있었다.
07:09-07:09질문·트러블슈팅
Vast.ai 크레딧 활용
Vast.ai에 남은 소액 크레딧을 어디에 쓰면 좋을지 질문이 나왔다. 구체적인 답변은 이 대화 구간에는 이어지지 않았다.
- Vast.ai 잔여 크레딧 활용처를 물었다.
- 대화 구간 내에서는 실행 추천이나 결론이 제시되지 않았다.