AWS Clean Rooms가 개인정보 보호 강화 합성 데이터세트(privacy-enhancing synthetic dataset) 기능을 공식 출시했습니다. 이 기능은 기계 학습용 데이터 협업 시 원본 데이터에 직접 접근하지 않고도 통계 특성을 유지한 합성 데이터를 생성할 수 있는 기능입니다. 기존 익명화/마스킹 기반 방식보다 재식별 위험이 낮은 데이터 생성이 가능해집니다.
다음 섹션에서는 AWS Clean Rooms에서 이 기능을 실제로 설정하고 사용하는 방법을 단계별로 정리합니다.
전제 조건
먼저 다음이 준비되어 있어야 합니다.
- AWS Clean Rooms 환경이 구성되어 있고 협업(Collaboration)을 생성할 수 있는 권한
- 합성 데이터를 생성할 원본 데이터가 AWS에서 접근 가능 (예: S3 + AWS Glue Catalog)
- 협업에 참여할 파트너 계정이 연동된 상태
1. 분석 템플릿 생성
1) 분석 템플릿 정의
AWS Clean Rooms에서 합성 데이터 생성을 시작하려면 분석 템플릿(Analysis Template) 을 생성해야 합니다.
이 템플릿 정의에는 다음이 포함됩니다:
- SQL 쿼리
- 합성 데이터를 생성할 원본 집합을 정의하는 쿼리를 작성합니다.
- 출력 스키마 분류
- 예측하려는 Target 열
- 범주형 변수(Categorical) 열
- 수치형 변수(Numerical) 열
- 합성 데이터 생성 옵션
- Require template output to be synthetic 설정
→ 이 옵션을 켜야 Clean Rooms가 합성 데이터로 결과를 생성합니다.
- Require template output to be synthetic 설정
- 개인정보 보호 임계값 설정
- ε (epsilon)
- 합성 데이터에 적용할 노이즈 수준을 정의
- 멤버십 추론 보호 최소 점수
- 모델이 특정 개인의 데이터 포함 여부를 추론할 수 있는 위험을 제한
- ε (epsilon)
이 값들은 조직의 컴플라이언스 요건에 맞춰 법무/보안팀과 협의 후 설정하는 것이 일반적입니다.
참고: Epsilon 값이 낮을수록 데이터가 현실과 유사해지는 정도(fidelity)는 낮아지지만 개인정보 보호 수준은 높아집니다.
2. 협업(Collaboration) 구성
1) Collaboration 생성
AWS Clean Rooms 콘솔에서 협업(공동 작업 영역)을 생성합니다.
- 참여할 계정 및 역할 정의
- 원본 데이터를 사용할 수 있는 데이터 소유자/파트너 계정 연결
협업 생성 후, 분석 템플릿을 협업에 연결합니다.
2) 분석 템플릿 연동
협업 구성 화면에서 머신 러닝 입력 채널(ML Input Channel) 을 생성할 때 위에서 만든 합성 분석 템플릿을 참조하도록 설정합니다.
- 이 채널이 합성 데이터 생성의 진입점 역할을 합니다
- 채널이 활성화되면 Clean Rooms는 설정된 규칙에 따라 합성 데이터 생성 작업을 시작합니다
3. 합성 데이터 생성 실행
1) 합성 데이터 생성 시작
ML Input Channel을 생성하면 AWS Clean Rooms가 자동으로 합성 데이터 생성을 실행합니다.
- 처리 시간은 데이터 크기/복잡도에 따라 수시간이 소요될 수 있습니다
- 합성 생성 과정에서 설정된 ε, 보호 점수 임계값을 만족해야 최종 데이터가 사용 가능해집니다
2) 품질 지표 확인
합성 데이터가 생성되면 AWS Clean Rooms 콘솔에서 아래 지표를 확인할 수 있습니다:
- Fidelity Score
- KL-다이버전스 기반으로 합성 데이터가 실제 데이터와 얼마나 통계적으로 유사한지 측정
- Privacy Score
- 멤버십 추론 공격으로부터 얼마나 보호되는지 측정
두 지표는 합성 데이터를 ML 학습에 사용할 때 신뢰도를 판단하는 기준입니다.
4. 합성 데이터로 ML 학습
합성 데이터가 생성되고 품질 지표 확인이 완료되면 다음으로 진행합니다:
1) 학습 준비
- 표준 ML 프레임워크(예: Scikit-Learn, XGBoost, TensorFlow 같은 도구)와 호환됩니다
- 합성 데이터셋을 기존 데이터 파이프라인으로 변경 없이 활용할 수 있습니다
2) 학습 실행
- 합성 데이터를 데이터 로더로 불러옵니다
- 회귀/분류 학습 파이프라인을 그대로 실행합니다
- 학습이 끝난 모델 가중치를 내보내기 하거나 Clean Rooms 내에서 추론 작업을 계속 진행할 수 있습니다
5. 비용 및 요금
합성 데이터 생성 기능은 AWS Clean Rooms의 기본 비용과 별도입니다.
- Synthetic Data Generation Units (SDGUs) 기준으로 과금됩니다
- SDGU는 원본 데이터 규모 및 복잡도에 따라 달라집니다
- 비용 지불자(payer)를 협업 참여자 중에서 지정할 수 있습니다
정리
AWS Clean Rooms의 합성 데이터 생성 기능은 개인정보 이슈로 인해 데이터를 직접 공유할 수 없는 환경에서 ML 모델 학습을 위해 고안된 기능입니다. 기존 익명화 방식과 달리 모델 기반 패턴 학습 → 합성 데이터 생성 구조를 사용하기 때문에, 통계적 특성을 유지한 상태로 개인 식별 위험을 낮출 수 있습니다.