소프트웨어 개발자 아캄 와히드(Arqam Waheed)가 의사결정 정확도를 향상하기 위해 세 개의 LLM(대규모 언어 모델)으로 구성된 AI 배심원 시스템 'Council'을 오픈소스로 공개했다. 이 시스템은 사용자의 질문을 OpenRouter를 통해 두 개의 호스팅 모델과 Ollama로 구동되는 하나의 로컬 모델에 각각 전달한다. 각 배심원은 독립적인 답변을 내놓으며, 네 번째 '포어맨(foreman)' 에이전트가 이를 종합해 최종 판결과 신뢰도 점수, 반대 의견 분석을 포함한 결과를 제시한다.

Council은 단순 다수결을 넘어 2단계 심의 과정을 도입했다. 초기 배심원들의 의견이 갈릴 경우, 각 모델은 동료들의 논거를 검토하고 자신의 입장을 재조정할 기회를 갖는다. 신뢰도 다이얼은 배심원의 합의 수준을 시각적으로 보여주는데, 만장일치는 높은 신뢰도로, 2대 1 의견은 낮은 신뢰도로 표시된다. 이는 단일 모델이 확신에 찬 어조로 틀린 답변을 내놓아 발생하는 오류를 방지하고자 설계되었다.

해당 아키텍처는 모델과 독립적인 접근 방식을 채택하여 Hermes Agent 인터페이스를 통해 하위 에이전트 작업을 실행한다. 이를 통해 사용자는 코드를 변경하지 않고도 간단한 설정만으로 모델 공급자를 교체할 수 있다. 또한 시스템은 에이전트 학습 루프를 포함하여 과거 판결 로그를 검토하고 특정 배심원에 대한 신뢰 가중치를 조정한다. 사용자는 이를 승인하거나 거부할 수 있으며, 수정된 설정은 로컬 설정 파일이나 브라우저 저장소에 기록된다.

모든 판결과 반대 의견, 재조정 과정은 에이전트 메모리에 저장되어 사용자가 자연어로 이전 의사결정 기록을 직접 조회할 수 있다. 현재 이 프로젝트는 GitHub에서 제공되며, 모의 모드를 통해 무료로 로컬 실행하거나 호스팅된 데모를 통해 실시간으로 체험할 수 있다. 아캄 와히드는 단순한 투표 집계가 아닌 '심의' 기능이 설계의 핵심이라 강조하며, 추론 과정의 불일치를 숨기지 않고 투명하게 드러내는 데 집중했다고 밝혔다.

소프트웨어 개발자 아캄 와히드(Arqam Waheed)가 의사결정 정확도를 향상하기 위해 세 개의 LLM(대규모 언어 모델)으로 구성된 AI 배심원 시스템 'Council'을 오픈소스로 공개했다. 이 시스템은 사용자의 질문을 OpenRouter를 통해 두 개의 호스팅 모델과 Ollama로 구동되는 하나의 로컬 모델에 각각 전달한다. 각 배심원은 독립적인 답변을 내놓으며, 네 번째 '포어맨(foreman)' 에이전트가 이를 종합해 최종 판결과 신뢰도 점수, 반대 의견 분석을 포함한 결과를 제시한다.

Council은 단순 다수결을 넘어 2단계 심의 과정을 도입했다. 초기 배심원들의 의견이 갈릴 경우, 각 모델은 동료들의 논거를 검토하고 자신의 입장을 재조정할 기회를 갖는다. 신뢰도 다이얼은 배심원의 합의 수준을 시각적으로 보여주는데, 만장일치는 높은 신뢰도로, 2대 1 의견은 낮은 신뢰도로 표시된다. 이는 단일 모델이 확신에 찬 어조로 틀린 답변을 내놓아 발생하는 오류를 방지하고자 설계되었다.

해당 아키텍처는 모델과 독립적인 접근 방식을 채택하여 Hermes Agent 인터페이스를 통해 하위 에이전트 작업을 실행한다. 이를 통해 사용자는 코드를 변경하지 않고도 간단한 설정만으로 모델 공급자를 교체할 수 있다. 또한 시스템은 에이전트 학습 루프를 포함하여 과거 판결 로그를 검토하고 특정 배심원에 대한 신뢰 가중치를 조정한다. 사용자는 이를 승인하거나 거부할 수 있으며, 수정된 설정은 로컬 설정 파일이나 브라우저 저장소에 기록된다.

모든 판결과 반대 의견, 재조정 과정은 에이전트 메모리에 저장되어 사용자가 자연어로 이전 의사결정 기록을 직접 조회할 수 있다. 현재 이 프로젝트는 GitHub에서 제공되며, 모의 모드를 통해 무료로 로컬 실행하거나 호스팅된 데모를 통해 실시간으로 체험할 수 있다. 아캄 와히드는 단순한 투표 집계가 아닌 '심의' 기능이 설계의 핵심이라 강조하며, 추론 과정의 불일치를 숨기지 않고 투명하게 드러내는 데 집중했다고 밝혔다.