분산형 AI 플랫폼 Mesh LLM이 출시되어 여러 대의 기기에 분산된 GPU와 메모리 자원을 통합해 거대언어모델을 하나의 시스템처럼 구동할 수 있게 되었다. 이 플랫폼은 http://localhost:9337/v1에서 OpenAI 호환 API로 작동하며, 사용자는 모델을 로컬에서 실행하거나 피어투피어 네트워크를 통해 작업 부하를 분산시킬 수 있다. 이는 모델 업데이트, 데이터 개인정보 보호, 변동적인 월간 비용 문제 등 중앙 집중형 클라우드 서비스의 제약을 극복하기 위해 설계되었다. 시스템은 노트북용 소형 모델부터 235B 파라미터 규모의 Mixture-of-experts 모델까지 40개 이상을 지원하는 유연한 아키텍처를 갖췄다.

단일 GPU 용량을 초과하는 대규모 모델의 경우, 'Skippy'라 불리는 분할 모드를 통해 모델을 레이어 범위별로 나누어 단계적으로 처리한다. 활성화 값은 하드웨어 노드 간에 스트리밍되어 개별 장치로는 불가능했던 대형 모델 실행을 지원한다. 인프라 핵심에는 중앙 서버 없이 인증된 NAT 순회와 QUIC 연결을 생성하는 네트워킹 도구 iroh가 사용된다. 각 노드는 공개 키로 식별되며 mesh-llm/1, mesh-llm-control/1, skippy-stage/2 프로토콜을 통해 통신한다. 직접적인 피어투피어 연결이 어려운 경우를 대비해 두 개의 지역별 iroh 릴레이가 백업 경로로 활용된다. 전체 소프트웨어 용량은 약 18 MB로 경량화되어 있으며, 향후 에이전트 통신 프로토콜(ACP) 지원과 iroh Swift SDK 기반의 모바일 앱 출시를 통해 개인형 분산 AI 인프라를 확장할 계획이다.

분산형 AI 플랫폼 Mesh LLM이 출시되어 여러 대의 기기에 분산된 GPU와 메모리 자원을 통합해 거대언어모델을 하나의 시스템처럼 구동할 수 있게 되었다. 이 플랫폼은 http://localhost:9337/v1에서 OpenAI 호환 API로 작동하며, 사용자는 모델을 로컬에서 실행하거나 피어투피어 네트워크를 통해 작업 부하를 분산시킬 수 있다. 이는 모델 업데이트, 데이터 개인정보 보호, 변동적인 월간 비용 문제 등 중앙 집중형 클라우드 서비스의 제약을 극복하기 위해 설계되었다. 시스템은 노트북용 소형 모델부터 235B 파라미터 규모의 Mixture-of-experts 모델까지 40개 이상을 지원하는 유연한 아키텍처를 갖췄다.

단일 GPU 용량을 초과하는 대규모 모델의 경우, 'Skippy'라 불리는 분할 모드를 통해 모델을 레이어 범위별로 나누어 단계적으로 처리한다. 활성화 값은 하드웨어 노드 간에 스트리밍되어 개별 장치로는 불가능했던 대형 모델 실행을 지원한다. 인프라 핵심에는 중앙 서버 없이 인증된 NAT 순회와 QUIC 연결을 생성하는 네트워킹 도구 iroh가 사용된다. 각 노드는 공개 키로 식별되며 mesh-llm/1, mesh-llm-control/1, skippy-stage/2 프로토콜을 통해 통신한다. 직접적인 피어투피어 연결이 어려운 경우를 대비해 두 개의 지역별 iroh 릴레이가 백업 경로로 활용된다. 전체 소프트웨어 용량은 약 18 MB로 경량화되어 있으며, 향후 에이전트 통신 프로토콜(ACP) 지원과 iroh Swift SDK 기반의 모바일 앱 출시를 통해 개인형 분산 AI 인프라를 확장할 계획이다.