본문 바로가기
카테고리 없음

Amazon Nova Forge 구성 방법 가이드

by AI Specialist 2025. 12. 29.

1. Amazon Nova Forge란?

Amazon Nova Forge는 AWS가 발표한 프론티어 모델의 커스터마이즈 서비스입니다. Nova Forge는 Amazon Nova 기반 모델을 사용자가 직접 구축하고, 조직 고유의 데이터로 학습시키며, 최종적으로 맞춤형 모델을 생성할 수 있도록 합니다.
기존 LLM 커스터마이즈(예: RAG, SFT만 사용)는 조직 지식을 모델 내부에 완전히 내재화하는데 한계가 있었습니다. Nova Forge는 이 한계를 극복하기 위한 Open Training 방식을 제공합니다.

이 글에서는 설정부터 모델 학습/배포까지 실제로 따라할 수 있는 단계를 중심으로 정리합니다.

Amazon Nova Forge 구성 방법 가이드
Amazon Nova Forge 구성 방법 가이드

2. 사전 준비

2.1 AWS 계정 및 리전 확인

  • Nova Forge는 현재 미국 동부(N. Virginia) 리전에서 먼저 제공됩니다.
  • 해당 리전을 콘솔 상단에서 선택 후 진행하세요.

2.2 IAM 역할 생성

Nova Forge에서 모델 개발 및 학습을 진행하기 위해서는 권한이 명확히 부여된 IAM 역할이 필요합니다.

필수 권한:

  • AmazonSageMakerFullAccess
  • AmazonS3FullAccess
  • CloudWatchLogsFullAccess
    필요 시 커스텀 IAM 정책을 적용해 권한 최소화를 수행하세요.

2.3 데이터 저장소 준비

모델 학습에 사용할 데이터는 Amazon S3 버킷으로 업로드해야 합니다.

권장 구조:

s3://my-nova-forge-data/pretrain/
s3://my-nova-forge-data/midtrain/
s3://my-nova-forge-data/sft/
 

3. Nova Forge 작업 구성

Nova Forge는 SageMaker AI Studio 콘솔을 통해 대부분의 작업을 직접 구성할 수 있습니다.

3.1 Nova Forge 환경 생성

  1. AWS 콘솔에서 SageMaker AI 메뉴로 이동합니다.
  2. 사이드바에서 Nova Forge (또는 관련 Custom Model 기능)를 선택합니다.
  3. 새 작업(Forge job) 생성 화면을 엽니다.

3.2 체크포인트 선택

Nova Forge는 학습의 세 단계에 대응하는 체크포인트를 제공합니다:

단계 설명
Pre-training 모델 기본 능력을 학습하는 단계
Mid-training 특화 도메인에 맞춰 데이터 주입
Post-training 모델 기반 성능 최적화

실습 팁
초기 커스텀 모델 구축 시에는 Pre-training 체크포인트부터 시작하는 것을 권장합니다. 이후 도메인 특화 데이터로 반복 학습을 수행하세요.

4. 데이터 혼합(Blended Training)

Nova Forge의 핵심 중 하나는 자체 데이터와 Nova 큐레이션 데이터의 혼합 학습입니다.

4.1 혼합 학습 설정

  1. 데이터 소스 선택:
    • S3에 업로드한 조직 데이터
    • Nova 큐레이션 데이터 세트 (콘솔에서 선택 가능)
  2. 데이터 설정 비율:
    • 도메인 특화 데이터 비율을 높이면 특정 업무에 최적화
    • 너무 높을 경우 기초 능력 손실 위험 존재
  3. 학습 레시피 선택:
    • Nova Forge는 자동 데이터 혼합 레시피를 제공합니다.
    • SageMaker HyperPod(시각적인 워크플로우 또는 CLI)를 이용해 학습 구성도 가능합니다.

4.2 주의점

  • 학습 데이터의 품질이 전체 성능에 크게 영향을 미치며, 사전 정제/전처리는 필수로 진행하세요.

5. 강화학습(강화 보상 함수) 구성

Nova Forge는 외부 환경에서 보상 함수를 적용할 수 있도록 지원합니다. 이를 통해 현실적인 피드백 기반으로 모델 학습을 진행할 수 있습니다.

5.1 보상 함수 랩 구성

  1. 자체 시뮬레이션 환경 또는 오케스트레이터 준비
  2. 보상 함수(API 기반 또는 Python 래핑)
  3. SageMaker에서 RFT(Reinforcement Fine-Tuning) 옵션 활성화

5.2 예시

# 간단한 reward 함수 예시 (Pseudo-code)
def reward_fn(context, response):
    score = my_custom_evaluator.score(context, response)
    return score

강화학습은 모델 응답의 실제 유용성 향상에 집중할 때 사용하세요.

6. 학습 실행 및 모델 생성

6.1 학습 실행

SageMaker AI 콘솔에서 해당 Nova Forge 작업을 실행합니다.
학습 Job 생성 시 다음 항목을 설정합니다:

  • 체크포인트 단계 선택
  • 데이터 위치(S3 경로)
  • 학습 인스턴스 유형 (GPU 기반 권장)

실행 후 CloudWatch Logs로 로그를 모니터링 하여 오류/학습 상태를 확인하세요.

7. 모델 배포

7.1 Bedrock으로 가져오기

학습이 완료되면 Nova Forge에서 생성된 모델을 Amazon Bedrock Private Model로 불러올 수 있습니다.

  1. Bedrock 콘솔로 이동
  2. Private Models 메뉴 선택
  3. Nova Forge에서 생성된 모델 Import

이 모델은 기존 Bedrock SDK/API를 통해 애플리케이션에서 추론 서비스로 사용할 수 있습니다.

8. Responsible AI 설정

Nova Forge는 내장된 Responsible AI 도구를 제공하여 안전성과 콘텐츠 정책을 관리할 수 있도록 지원합니다.

  • 안전 임계값 설정
  • 악의적인 입력 필터링
  • 민감 콘텐츠 대응

필요 시 정책을 세부 조정하고 모델 학습에 반영하세요.

티스토리툴바