MCPulse는 공개 MCP 서버 4,951개의 스키마를 분석해 AI 모델이 도구를 선택하고 값을 채울 때 받는 설명문에 광범위한 공백이 있다고 밝혔다. 데이터셋은 Smithery 레지스트리에 저장된 `tools/list` 응답에서 도구 87,146개와 매개변수 270,487개를 다뤘으며, `inputSchema`도 포함했다. 특히 도구 6개 중 1개는 같은 서버의 다른 도구와 구별되는 단어가 없는 설명을 갖고 있었고, 도구가 60개를 넘는 서버에서는 그 비율이 3개 중 1개에 가까웠다.

MCPulse는 이번 측정이 정적 스키마만 대상으로 했으며 실제 모델 행동은 측정하지 않았다고 설명했다. 저자들은 모델을 실행하거나 도구 선택을 관찰하지 않았고, 인수를 점검하거나 재시도 횟수도 측정하지 않았다. 따라서 이 결과만으로 모델이 잘못된 도구를 얼마나 자주 고르는지는 알 수 없다. 원자료는 서버 5,123개에서 시작했지만 상세 요청 154건이 실패했고, 5개는 스캔된 적이 없었으며, 13개는 도구를 공개하지 않아 최종적으로 스키마가 있는 서버 4,951개가 남았다.

레지스트리 점검에서는 중요한 한계도 확인됐다. Smithery는 서버 스키마의 필드를 보존했지만 최상위 `required` 배열은 제외했다. MCPulse는 공식 참조 서버 4개를 로컬에서 부팅한 뒤 stdio(표준 입력·출력 통신)를 통해 실제 `tools/list` 출력과 레지스트리 응답을 비교했다. 한 서버에서는 로컬 기준 도구 37개 중 27개에 required 배열이 있었지만 API에서는 0개로 나타났고, 이에 따라 required와 선택 매개변수의 차이에 관한 주장은 제외됐다.

가장 흔한 누락은 매개변수 설명이었다. 매개변수 270,487개 중 59,038개, 즉 21.8%에는 설명이 없었고, 이런 매개변수는 서버 33.7%에서 발견됐다. 반면 도구 설명 누락은 훨씬 드물어 설명이 없는 도구는 0.4%에 그쳤다. MCPulse는 `id`, `type`, `mode`, `filter` 같은 매개변수 주변 맥락이 비어 있으면 모델이 이름과 타입만으로 의미를 추론해야 한다고 말했다.

설명 중복도 흔했다. 도구 설명의 중앙값은 26%만 구별됐는데, 이는 단어의 4분의 3이 같은 서버의 형제 도구 설명에도 등장했다는 뜻이다. MCPulse는 도구 26.7%가 10% 미만으로만 구별됐고, 17.4%는 정확히 0이었으며, 서버 23.1%에는 구별도 0인 도구가 최소 1개 있었다고 밝혔다. 한 서버는 동일한 51단어 맥락 블록을 275개 도구 전체에 붙였고, 그 결과 “Create a new NFT collection”과 “Purchase an NFT from a listing”은 59단어 중 8단어만 달랐다.

충돌 문제는 서버 규모가 커질수록 커졌다. 구별도 0인 도구는 도구 1~3개 서버에서 0.5%, 4~7개에서 1.6%, 8~15개에서 4.3%, 16~30개에서 7.7%, 31~60개에서 16.3%, 61개 이상에서 31.3%로 나타났다. 매개변수 설명 누락은 가장 작은 구간을 제외한 모든 규모 구간에서 20%와 25% 사이에 머물렀고, 1~3개 도구 구간은 14.8%였다.

스키마는 사용자의 요청이 오기 전부터 토큰 비용도 만들었다. 중앙값 서버는 4,991바이트, 대략 1,250토큰을 보냈고, 90번째 백분위 서버는 32,636바이트, 대략 8,200토큰을 보냈다. 가장 큰 스키마는 1,145,575바이트, 약 280,000토큰에 달했다. 서버당 도구 수 중앙값은 7개, 평균은 17.6개였으며, 한 서버는 도구 2,530개를 공개했다.

MCPulse는 전체 매개변수의 8.0%가 `enum`을 사용했다고 밝혔다. 반면 서버 4.6%의 매개변수 895개는 유효한 값을 prose로 적었지만 스키마는 열린 문자열로 남겨뒀다. 서버 내부의 중복 도구 이름은 서버 0.2%에서만 나타났다. 저자들은 “query: The query” 같은 설명도 존재하는 것으로 계산됐기 때문에 21.8%라는 설명 누락 수치는 하한선이라고 덧붙였고, 모든 데이터와 스크립트는 `analysis.json`, `examples.json`, 붙여넣은 `tools/list` JSON을 말뭉치와 비교해 점수화할 수 있는 브라우저 검사기로 공개됐다.

MCPulse는 공개 MCP 서버 4,951개의 스키마를 분석해 AI 모델이 도구를 선택하고 값을 채울 때 받는 설명문에 광범위한 공백이 있다고 밝혔다. 데이터셋은 Smithery 레지스트리에 저장된 `tools/list` 응답에서 도구 87,146개와 매개변수 270,487개를 다뤘으며, `inputSchema`도 포함했다. 특히 도구 6개 중 1개는 같은 서버의 다른 도구와 구별되는 단어가 없는 설명을 갖고 있었고, 도구가 60개를 넘는 서버에서는 그 비율이 3개 중 1개에 가까웠다.

MCPulse는 이번 측정이 정적 스키마만 대상으로 했으며 실제 모델 행동은 측정하지 않았다고 설명했다. 저자들은 모델을 실행하거나 도구 선택을 관찰하지 않았고, 인수를 점검하거나 재시도 횟수도 측정하지 않았다. 따라서 이 결과만으로 모델이 잘못된 도구를 얼마나 자주 고르는지는 알 수 없다. 원자료는 서버 5,123개에서 시작했지만 상세 요청 154건이 실패했고, 5개는 스캔된 적이 없었으며, 13개는 도구를 공개하지 않아 최종적으로 스키마가 있는 서버 4,951개가 남았다.

레지스트리 점검에서는 중요한 한계도 확인됐다. Smithery는 서버 스키마의 필드를 보존했지만 최상위 `required` 배열은 제외했다. MCPulse는 공식 참조 서버 4개를 로컬에서 부팅한 뒤 stdio(표준 입력·출력 통신)를 통해 실제 `tools/list` 출력과 레지스트리 응답을 비교했다. 한 서버에서는 로컬 기준 도구 37개 중 27개에 required 배열이 있었지만 API에서는 0개로 나타났고, 이에 따라 required와 선택 매개변수의 차이에 관한 주장은 제외됐다.

가장 흔한 누락은 매개변수 설명이었다. 매개변수 270,487개 중 59,038개, 즉 21.8%에는 설명이 없었고, 이런 매개변수는 서버 33.7%에서 발견됐다. 반면 도구 설명 누락은 훨씬 드물어 설명이 없는 도구는 0.4%에 그쳤다. MCPulse는 `id`, `type`, `mode`, `filter` 같은 매개변수 주변 맥락이 비어 있으면 모델이 이름과 타입만으로 의미를 추론해야 한다고 말했다.

설명 중복도 흔했다. 도구 설명의 중앙값은 26%만 구별됐는데, 이는 단어의 4분의 3이 같은 서버의 형제 도구 설명에도 등장했다는 뜻이다. MCPulse는 도구 26.7%가 10% 미만으로만 구별됐고, 17.4%는 정확히 0이었으며, 서버 23.1%에는 구별도 0인 도구가 최소 1개 있었다고 밝혔다. 한 서버는 동일한 51단어 맥락 블록을 275개 도구 전체에 붙였고, 그 결과 “Create a new NFT collection”과 “Purchase an NFT from a listing”은 59단어 중 8단어만 달랐다.

충돌 문제는 서버 규모가 커질수록 커졌다. 구별도 0인 도구는 도구 1~3개 서버에서 0.5%, 4~7개에서 1.6%, 8~15개에서 4.3%, 16~30개에서 7.7%, 31~60개에서 16.3%, 61개 이상에서 31.3%로 나타났다. 매개변수 설명 누락은 가장 작은 구간을 제외한 모든 규모 구간에서 20%와 25% 사이에 머물렀고, 1~3개 도구 구간은 14.8%였다.

스키마는 사용자의 요청이 오기 전부터 토큰 비용도 만들었다. 중앙값 서버는 4,991바이트, 대략 1,250토큰을 보냈고, 90번째 백분위 서버는 32,636바이트, 대략 8,200토큰을 보냈다. 가장 큰 스키마는 1,145,575바이트, 약 280,000토큰에 달했다. 서버당 도구 수 중앙값은 7개, 평균은 17.6개였으며, 한 서버는 도구 2,530개를 공개했다.

MCPulse는 전체 매개변수의 8.0%가 `enum`을 사용했다고 밝혔다. 반면 서버 4.6%의 매개변수 895개는 유효한 값을 prose로 적었지만 스키마는 열린 문자열로 남겨뒀다. 서버 내부의 중복 도구 이름은 서버 0.2%에서만 나타났다. 저자들은 “query: The query” 같은 설명도 존재하는 것으로 계산됐기 때문에 21.8%라는 설명 누락 수치는 하한선이라고 덧붙였고, 모든 데이터와 스크립트는 `analysis.json`, `examples.json`, 붙여넣은 `tools/list` JSON을 말뭉치와 비교해 점수화할 수 있는 브라우저 검사기로 공개됐다.