Amazon Nova Forge 모델 하이퍼파라미터 최적화 가이드
- •Amazon Nova Forge는 CPT, SFT, RFT를 지원하여 특정 도메인 업무에 맞게 LLM을 최적화한다.
- •모델 미세조정 시 발생하는 치명적 망각을 방지하기 위해 데이터 혼합과 전략적인 체크포인트 선정이 필수적이다.
- •초기 검증 단계에서는 연산 비용 절감과 하이퍼파라미터 설정 실패 방지를 위해 LoRA 사용을 권장한다.
Amazon Nova Forge는 지속적 사전 학습(CPT), 지도 미세조정(SFT), 강화 미세조정(RFT) 등 세 가지 핵심 기술을 통해 도메인 특화 모델을 구축하는 프레임워크를 제공한다. 이러한 방법은 기업이 독자적인 데이터를 모델에 통합할 수 있도록 지원하며, 좁은 도메인 학습 후 모델의 일반적인 추론 및 지시 이행 능력이 저하되는 치명적 망각을 방지한다. 학습 과정에서 엄선된 데이터셋을 포함하는 데이터 혼합 전략은 모델의 안정성과 유연성을 유지하는 핵심 요소다.
CPT 단계에서 적절한 체크포인트를 선택하는 것은 가장 중요한 전략적 결정이다. 사전 학습된 체크포인트는 1000억 토큰이 넘는 대규모 학습에 유연성을 제공하지만, 이후 기능을 복구하기 위한 SFT가 반드시 필요하다. 중간 단계 체크포인트는 도메인 학습과 지시 이행 능력 간의 균형을 맞추며, 사후 학습된 체크포인트는 저차원 적응(LoRA)과 같은 파라미터 효율적 기법에 권장된다. 사후 학습된 체크포인트를 사용하면 정렬 능력과 일반적인 성능을 보존할 수 있어 대부분의 실무자에게 가장 안전한 시작점이 된다.
학습 성공을 위해서는 학습률과 데이터 혼합 비율 등 하이퍼파라미터 최적화가 핵심이다. 학습률이 너무 높으면 모델이 불안정해지거나 오버슈팅이 발생할 수 있고, 너무 낮으면 연산 효율이 떨어진다. Amazon Nova Forge는 검증된 기본값을 제공하며, 데이터 혼합 시 도메인 데이터를 50% 비율로 유지하되 성능 저하 방지를 위해 추론 및 지시 이행 관련 데이터를 반드시 포함해야 한다.
학습 방식 선택에 따라 성능과 인프라 요구 사항이 달라진다. LoRA는 낮은 연산 비용과 빠른 반복 속도, 온디맨드 추론 호환성 덕분에 초기 검증에 권장된다. 반면 모델 전체 가중치를 업데이트하는 Full Rank 방식은 Amazon Bedrock Provisioned Throughput을 필요로 하며, 구체적인 배포 제약 조건이 뒷받침되는 검증된 파이프라인을 위해 설계되었다. LoRA를 통해 데이터 품질과 보상 함수를 먼저 검증한 뒤 Full Rank로 전환하는 워크플로우를 구축하는 것이 비용이 큰 학습 실패를 예방하는 표준 방식이다.