Amazon SageMaker
개요 요금 FAQ 고객

Amazon SageMaker Clarify

모델 평가 및 모델 예측 설명
FM 평가 시작하기
설명 가능성으로 시작하기

Amazon SageMaker Clarify란 무엇인가요?

SageMaker Clarify의 이점

정확성, 견고성, 유해성과 같은 지표를 사용하여 생성형 AI 사용 사례에 대해 FM을 자동으로 평가함으로써 책임 있는 AI 이니셔티브를 지원합니다. 정교한 인간의 판단이 필요한 기준 또는 미묘한 콘텐츠의 경우, 자체 인력을 활용하거나 AWS에서 제공하는 관리형 인력을 사용하여 모델 응답을 검토할 수 있습니다.
모델 개발 및 추론 중에 입력 기능이 모델 예측에 어떻게 기여하는지 설명합니다. 자동 평가 및 인적 평가를 사용하여 맞춤화 중에 FM을 평가합니다.
FM 맞춤화 및 MLOps 워크플로 전반에 걸쳐 이해하기 쉬운 지표, 보고서 및 예제를 생성합니다.
ISO 42001과 같은 지침에 따라 데이터 준비, 모델 사용자 지정 및 배포된 모델에서 잠재적 편향 및 기타 위험을 탐지합니다.

기초 모델 평가

평가 마법사 및 보고서

평가를 시작하려면 모델, 태스크 및 평가 유형(인간 기반 또는 자동 보고)을 선택합니다. 평가 결과를 활용하여 사용 사례에 가장 적합한 모델을 선택하고, 프롬프트 엔지니어링, 인간 피드백을 통한 강화 학습(RLHF), 검색 증강 생성(RAG), 지도형 미세 조정(SFT)과 같은 모델 사용자 지정 기법의 영향을 정량화합니다. 평가 보고서에는 여러 차원에 걸친 점수가 요약되므로 신속하게 비교하고 결정할 수 있습니다. 더 자세한 보고서에는 최고 점수 및 최저 점수 모델 결과의 예가 제공되므로 추가로 최적화할 영역에 집중할 수 있습니다.
평가 마법사 및 보고서

사용자 지정

CrowS-Pairs, TriviaQA, WikiText와 같은 큐레이트된 데이터 세트와 Bert-Score, Rouge, F1과 같은 큐레이트된 알고리즘을 사용하여 빠르게 시작할 수 있습니다. 자체 프롬프트 데이터 세트와 점수 산정 알고리즘을 생성형 AI 애플리케이션에 맞게 사용자 지정할 수 있습니다. GitHub에서 오픈 소스 라이브러리로 자동 평가를 사용할 수 있으므로 어디서나 실행할 수 있습니다. 샘플 노트북은 AWS에서 호스팅되지 않은 모델을 포함하여 모든 FM에 대해 프로그래밍 방식으로 평가를 실행하는 방법과 FM 평가를 SageMaker MLOps와 SageMaker Pipelines, SageMaker Model Registry, SageMaker Model Cards와 같은 거버넌스 도구와 통합하는 방법을 보여줍니다.
사용자 지정

사람 기반 평가

일부 평가 기준은 미묘하거나 주관적이어서 평가하려면 사람의 판단이 필요합니다. 자동화된 지표 기반 평가 외에도 사람(자체 직원 또는 AWS에서 관리하는 평가 팀)에게 유용성, 어조, 브랜드 표현 준수 등의 측면에서 모델 출력을 평가하도록 요청할 수 있습니다. 인간 평가자는 회사별 지침, 명명법 및 브랜드 표현과의 일관성을 확인할 수도 있습니다. 사용자 지정 지침을 설정하여 평가 팀에 프롬프트를 평가하는 방법(예: 순위를 매기거나 추천 및 비추천을 표시하는 방법)을 안내할 수 있습니다.
사람 기반 평가

모델 품질 평가

자동 및 인간 기반 평가를 사용한 FM 평가를 통해 FM이 특정 생성형 AI 태스크에 대한 고품질 응답을 제공하는지 확인할 수 있습니다. 요약, 질문 답변(Q&A), 분류 등 특정 생성형 AI 태스크에 맞게 조정된 특정 평가 알고리즘(예: Bert Score, Rouge, F1)으로 모델 정확도를 평가합니다. ButterFingers, 무작위 대문자, 공백 추가 제거와 같이 입력에 의미 체계 보존 섭동이 요구되는 경우 FM 출력의 의미론적 견고성을 확인할 수 있습니다.
모델 품질 평가

모델 책임 평가

자동 및 인간 기반 평가를 사용하여 FM이 인종 및 피부색, 성별 및 성 정체성, 성적 취향, 종교, 연령, 국적, 장애, 외모, 사회경제적 지위 범주에 따라 고정 관념을 인코딩했을 위험을 평가할 수 있습니다. 유해 콘텐츠의 위험도 평가할 수 있습니다. 서술형 생성, 요약, 질문 답변을 포함하여 콘텐츠 생성과 관련된 모든 작업에 이러한 평가를 적용할 수 있습니다.

모델 책임 평가

모델 예측

모델 예측 설명

SageMaker Clarify는 SageMaker Experiments와 통합되어 테이블 형식, 자연어 처리(NLP), 컴퓨터 비전 모델의 특정 입력에서 어떤 특성이 모델 예측에 가장 많이 기여했는지를 상세하게 보여주는 점수를 제공합니다. 테이블 형식의 데이터 세트의 경우 SageMaker Clarify에서 모델의 전반적인 예측 프로세스에 대한 인사이트를 제공하는 특성 중요도 집계 차트를 출력할 수도 있습니다. 이와 같은 세부 정보는 특정 모델 입력이 전체 모델 동작에 미칠 것으로 예상하는 것보다 더 많은 영향을 미치는지 확인하는 데 유용할 수 있습니다.
SageMaker Experiments에서 훈련된 모델에 대한 피처 중요도 그래프의 스크린샷

모델 동작에 변화가 발생하는지 모니터링

라이브 데이터를 변경하면 모델의 새로운 동작이 노출될 수 있습니다. 예를 들어 한 지리적 지역의 데이터에 대해 훈련된 신용 위험 예측 모델은 다른 지역의 데이터에 적용할 때 다양한 특성에 할당하는 중요도를 변경할 수 있습니다. SageMaker Clarify는 SageMaker Model Monitor와 통합되어, 모델 동작이 변경되어 입력 특성의 중요도가 변경될 경우 CloudWatch와 같은 알림 시스템을 사용하여 통지합니다.
SageMaker Model Monitor에서의 피처 중요도 모니터링의 스크린샷

바이어스 감지

데이터에 존재하는 불균형 식별

SageMaker Clarify를 사용하면 코드를 작성하지 않고도 데이터 준비 중에 발생할 수 있는 편향을 식별할 수 있습니다. 성별 또는 나이와 같은 입력 특성을 지정하면 SageMaker Clarify가 분석 작업을 실행하여 이러한 특성의 잠재적 바이어스를 탐지합니다. 그런 다음 SageMaker Clarify는 잠재적 바이어스의 지표 및 측정에 대한 설명이 담긴 시각적 보고서를 제공합니다. 따라서 바이어스를 해결하기 위한 조치를 확인할 수 있습니다. 불균형이 발생할 경우 SageMaker Data Wrangler를 사용하여 데이터의 균형을 유지할 수 있습니다. SageMaker Data Wrangler는 3가지 밸런싱 연산자(무작위 과소 샘플링, 무작위 과다 샘플링, SMOTE)를 제공하여 불균형 데이터 세트의 데이터를 재조정합니다.

자세히 알아보기
SageMaker Data Wrangler에서 데이터 준비 과정 동안 나타나는 바이어스 지표의 스크린샷

훈련된 모델에 바이어스가 존재하는지 확인

모델을 훈련한 후 Amazon SageMaker Experiments를 통해 SageMaker Clarify 바이어스 분석을 실행하여 한 그룹에 대해 다른 그룹보다 더 자주 부정적인 결과를 생성하는 예측과 같은 잠재적 바이어스가 모델에 존재하는지 확인할 수 있습니다. 모델 결과에서 편향을 측정하고자 하는 대상과 관련된 입력 특성을 지정할 수 있습니다. 그러면 SageMaker가 분석을 실행하고 각 특성의 다양한 편향 유형을 식별하는 시각적 보고서를 제공합니다. AWS 오픈 소스 메서드 Fair Bayesian Optimization은 모델의 하이퍼파라미터를 튜닝하여 바이어스를 완화하는 데 도움이 될 수 있습니다.

자세히 알아보기
SageMaker Experiments에서 훈련된 모델에 존재하는 바이어스 지표의 스크린샷

배포된 모델의 편향 모니터링

바이어스는 훈련 데이터가 모델이 배포 중에 보는 라이브 데이터와 다를 때 배포된 ML 모델에서 유입되거나 악화될 수 있습니다. 예를 들어 모델을 훈련시키는 데 사용되는 주택담보대출 금리가 현재 주택담보대출 금리와 다를 경우 주택 가격 예측을 위한 모델의 결과는 편향될 수 있습니다. SageMaker Clarify 편향 탐지 기능은 Amazon SageMaker Model Monitor에 통합되어 있으므로 SageMaker에서 특정 임계값을 초과하는 편향을 감지하면 자동으로 Amazon SageMaker Studio 및 Amazon CloudWatch 지표 및 경보를 통해 확인할 수 있는 지표를 생성합니다.

SageMaker Model Monitor에서의 바이어스 모니터링의 스크린샷

새로운 소식

  • 날짜(최신순)
결과를 찾을 수 없음
1 …
…