AWS는 Trainium 및 Inferentia 하드웨어용 맞춤형 커널의 생성, 디버깅, 최적화를 자동화하기 위해 설계된 AI 에이전트 및 도구 모음인 Neuron Agentic Development를 발표했다. 해당 툴킷은 자연어, PyTorch, NumPy 설명을 최적화된 하드웨어 코드로 변환하며, 컴파일 오류 해결 및 성능 병목 현상을 식별하는 체계적인 워크플로우를 제공해 수동 성능 엔지니어링의 필요성을 줄인다.

제공되는 5가지 핵심 기술은 작성, 디버깅, 프로파일링, 분석, 문서화로 구성된다. 이 기술들은 통합된 neuron-nki-agent를 통해 개별적으로 실행되거나 조정될 수 있다. 작성 기술은 파티션 크기 및 메모리 액세스 패턴과 같은 하드웨어 제약 조건을 준수하며, 디버깅 기술은 28개의 NCC 오류 코드 인덱스를 사용하여 컴파일 오류를 체계적으로 해결한다. 또한, Trainium 기반 EC2 인스턴스에서 NEFF 및 NTFF 파일을 통해 실행 추적을 캡처하고, 프로파일링 쿼리 기술을 통해 SQL로 성능 비효율성을 진단할 수 있다.

개발자는 AWS Neuron 딥러닝 AMI가 탑재된 trn2.3xlarge 인스턴스를 통해 실무에 적용 가능하다. 이 워크플로우는 확장된 소프트맥스 커널 생성, 디버깅 중 브로드캐스트 오류 수정, SwiGLU MLP 커널의 명령어 수준 비효율성 식별 등을 지원한다. 해당 에이전트는 VS Code 및 Cursor와 같은 IDE와 호환되며 Trainium 1, 2, 3 아키텍처를 모두 지원한다. AWS는 향후 에이전트가 성능 목표를 달성할 때까지 커널을 자율적으로 반복 개선하도록 하여 수동 분석 및 코드 재작성 노력을 더욱 줄일 방침이다.

AWS는 Trainium 및 Inferentia 하드웨어용 맞춤형 커널의 생성, 디버깅, 최적화를 자동화하기 위해 설계된 AI 에이전트 및 도구 모음인 Neuron Agentic Development를 발표했다. 해당 툴킷은 자연어, PyTorch, NumPy 설명을 최적화된 하드웨어 코드로 변환하며, 컴파일 오류 해결 및 성능 병목 현상을 식별하는 체계적인 워크플로우를 제공해 수동 성능 엔지니어링의 필요성을 줄인다.

제공되는 5가지 핵심 기술은 작성, 디버깅, 프로파일링, 분석, 문서화로 구성된다. 이 기술들은 통합된 neuron-nki-agent를 통해 개별적으로 실행되거나 조정될 수 있다. 작성 기술은 파티션 크기 및 메모리 액세스 패턴과 같은 하드웨어 제약 조건을 준수하며, 디버깅 기술은 28개의 NCC 오류 코드 인덱스를 사용하여 컴파일 오류를 체계적으로 해결한다. 또한, Trainium 기반 EC2 인스턴스에서 NEFF 및 NTFF 파일을 통해 실행 추적을 캡처하고, 프로파일링 쿼리 기술을 통해 SQL로 성능 비효율성을 진단할 수 있다.

개발자는 AWS Neuron 딥러닝 AMI가 탑재된 trn2.3xlarge 인스턴스를 통해 실무에 적용 가능하다. 이 워크플로우는 확장된 소프트맥스 커널 생성, 디버깅 중 브로드캐스트 오류 수정, SwiGLU MLP 커널의 명령어 수준 비효율성 식별 등을 지원한다. 해당 에이전트는 VS Code 및 Cursor와 같은 IDE와 호환되며 Trainium 1, 2, 3 아키텍처를 모두 지원한다. AWS는 향후 에이전트가 성능 목표를 달성할 때까지 커널을 자율적으로 반복 개선하도록 하여 수동 분석 및 코드 재작성 노력을 더욱 줄일 방침이다.