ReLLM-OS, 재사용형 LLM 하드웨어 제안

아나스타시오스 N. 비코스는 대규모 언어 모델 추론을 AI 운영체제가 관리하는 재사용형 하드웨어 서비스로 구현하는 구조 ReLLM-OS를 제안했습니다. 논문은 2026년 《Journal of Superintelligence》에 실렸으며, 재사용형 텐서·축약·비선형·양자화·메모리·키-값 캐시 모듈을 모델 캡슐과 무어 유한 상태 제어기로 결합하는 계층형 데이터 경로 HCDP-LLM을 제시합니다.

이 구조는 하드웨어 재사용, 추론 단계에 맞춰 달라지는 서비스, 운영체제의 구성, 오토마타 기반 형식 모델을 함께 다룹니다. 계산은 여러 데이터 트랙을 읽고 쓰는 유한 정밀도 다중 테이프 변환기로 표현됩니다. 저자들은 이 방식이 결정론적 체크포인팅과 마이그레이션, 격리를 가능하게 하며 비트 시간·공간·입출력 비용을 분석할 수 있다고 설명합니다.

저자들의 도출 결과에 따르면 프롬프트 어텐션 연산량은 제곱에 비례해 증가하지만, 토큰별 어텐션 연산량과 KV 캐시 저장 공간은 문맥 길이에 선형으로 비례합니다. 또한 연산 집약적인 프리필 단계와 대역폭 집약적인 디코딩 단계를 구분합니다.

논문은 재구성 가능한 가속기 하나에서 70억 매개변수 모델을 실행할 때의 수용 한도, 연산 레인 할당, 재결합 단위를 계산한 사례를 제시합니다. 시제품 측정이나 시뮬레이션 결과는 보고하지 않았습니다. 향후 평가 절차로는 FPGA 또는 시스템온칩 시제품에서 제어 평면을 사용하는 경우와 이를 끈 기준선을 비교해 추상화 계층의 비용을 분리하는 방안을 제안합니다. 저자들이 제안하는 방향은 영구적으로 고정 배선된 모델 대신 실행 중 조합할 수 있고 가중치를 프로그램할 수 있는 추론 하드웨어 패브릭입니다.

아나스타시오스 N. 비코스는 대규모 언어 모델 추론을 AI 운영체제가 관리하는 재사용형 하드웨어 서비스로 구현하는 구조 ReLLM-OS를 제안했습니다. 논문은 2026년 《Journal of Superintelligence》에 실렸으며, 재사용형 텐서·축약·비선형·양자화·메모리·키-값 캐시 모듈을 모델 캡슐과 무어 유한 상태 제어기로 결합하는 계층형 데이터 경로 HCDP-LLM을 제시합니다.

이 구조는 하드웨어 재사용, 추론 단계에 맞춰 달라지는 서비스, 운영체제의 구성, 오토마타 기반 형식 모델을 함께 다룹니다. 계산은 여러 데이터 트랙을 읽고 쓰는 유한 정밀도 다중 테이프 변환기로 표현됩니다. 저자들은 이 방식이 결정론적 체크포인팅과 마이그레이션, 격리를 가능하게 하며 비트 시간·공간·입출력 비용을 분석할 수 있다고 설명합니다.

저자들의 도출 결과에 따르면 프롬프트 어텐션 연산량은 제곱에 비례해 증가하지만, 토큰별 어텐션 연산량과 KV 캐시 저장 공간은 문맥 길이에 선형으로 비례합니다. 또한 연산 집약적인 프리필 단계와 대역폭 집약적인 디코딩 단계를 구분합니다.

논문은 재구성 가능한 가속기 하나에서 70억 매개변수 모델을 실행할 때의 수용 한도, 연산 레인 할당, 재결합 단위를 계산한 사례를 제시합니다. 시제품 측정이나 시뮬레이션 결과는 보고하지 않았습니다. 향후 평가 절차로는 FPGA 또는 시스템온칩 시제품에서 제어 평면을 사용하는 경우와 이를 끈 기준선을 비교해 추상화 계층의 비용을 분리하는 방안을 제안합니다. 저자들이 제안하는 방향은 영구적으로 고정 배선된 모델 대신 실행 중 조합할 수 있고 가중치를 프로그램할 수 있는 추론 하드웨어 패브릭입니다.