데이터 효율성

데이터 효율성 뜻

모델이 우수한 학습 성능을 달성하기 위해 요구되는 데이터의 양을 최소화하여 적은 데이터로도 높은 정확도를 확보하는 능력

다른 언어 표기와 설명

日本語データ効率性

少ない学習データ量で高い性能や精度を獲得できるモデルの能力を指す指標

EnglishData efficiency

The ability of a model to achieve high performance while requiring minimal amounts of training data

관련 용어

• 추론 효율성모델이 결과물을 내놓을 때 소요되는 시간과 자원 대비 산출물의 품질이 얼마나 최적화되어 있는지를 나타내는 지표
• 매개변수 효율적 파인튜닝모델의 모든 매개변수를 수정하는 대신 일부 매개변수만 조정하여 적은 자원으로 효율적으로 모델을 최적화하는 기법.
• 모델 가지치기학습된 모델에서 성능에 영향이 적은 파라미터나 신경망 연결을 제거하여 모델의 크기와 연산량을 줄이는 기법이다.
• 능동 학습AI가 학습에 가장 효과적인 데이터를 스스로 선별하여 계산이나 라벨링 비용을 최소화하면서 성능을 극대화하는 학습 전략
• 저차원 적응(LoRA)거대 언어 모델의 전체 파라미터를 수정하는 대신 일부 저차원 행렬만을 학습시켜 효율적으로 모델을 미세조정하는 기법이다.
• 활성 매개변수인공지능 모델이 데이터를 처리할 때 전체 매개변수 중 실제로 계산에 참여하는 매개변수의 수를 의미한다.
• 데이터 플라이휠데이터가 순환하며 피드백을 통해 모델 성능이 지속적으로 개선되는 선순환 프로세스
• 차원의 저주특징(차원) 수가 늘어날수록 데이터가 ‘희소’해져서 패턴을 찾기 어려워지고, 성능이 떨어지거나 계산 비용이 크게 늘어나는 현상입니다.
• 희소성모델의 전체 파라미터 중 특정 시점에 일부만 활성화되도록 설계하여 계산 복잡도를 낮추고 효율성을 극대화하는 성질.
• 분산 데이터 병렬 처리모델 복제본을 여러 장치에 두고 데이터를 나눠 동시에 학습하는 방식입니다.
• 양자화 인식 훈련훈련 단계에서부터 양자화로 인한 오차 영향을 반영해 학습함으로써, 경량화(양자화) 이후에도 성능 저하를 줄이는 학습 기법입니다.