Amazon SageMaker Ground Truth 기능

지도 학습을 통해, 원하는 출력의 구체적인 예시를 모델에게 제공합니다. 이러한 예시를 데모 데이터라고 하며, 이를 통해 모델은 제시되지 않은 미래의 사용자 요청에 어떻게 대응하고 응답할지 학습할 수 있습니다. SageMaker Ground Truth Plus를 사용하면 전문 주석가로 구성된 AWS 팀이 특정 지침에 따라 새로운 고품질 데모 데이터를 생성할 수 있습니다. 데모 데이터의 예시로는 이미지 및 비디오의 캡션, 텍스트 요약, 질문에 대한 답변 등이 있습니다. 데모 데이터를 사용하여 사용 사례에 맞게 기존 FM을 사용자 지정하거나 처음부터 빌드한 모델을 미세 조정할 수 있습니다.

• 질문 및 답변: 질문 및 답변 쌍을 사용하면 대규모 언어 모델에 질문에 답하는 방법을 훈련시키는 데모 데이터 세트를 준비할 수 있습니다.

• 이미지 캡션: 이미지 캡션을 사용하면 이미지의 장면과 객체를 자세하게 설명하는 데이터 세트를 준비하여 의도에 맞는 정확하고 창의적인 이미지를 생성하도록 텍스트-이미지 변환 모델을 훈련할 수 있습니다. 또한 이미지를 텍스트로 변환하는 모델을 훈련시켜 이미지 장면에 대한 정확한 설명을 출력하는 작업에도 사용할 수 있습니다.
  

• 비디오 캡션: 비디오 자막을 사용하면 텍스트-비디오 모델을 학습하기 위해 비디오의 동작과 장면을 상세하게 설명하는 데이터 세트를 준비할 수 있습니다. 고품질 비디오 캡션 훈련 데이터를 사용하면 원하는 의도에 따른 더 정확하고 창의적인 비디오를 만들 수 있습니다. 비디오에 대한 정확한 설명을 제공하도록 비디오-텍스트 변환 모델을 훈련할 때도 사용할 수 있습니다.
  

인간 피드백을 통한 강화 학습(RLHF)에서 데이터 주석가는 응답 순위를 매기거나 분류하여 모델이 생성한 결과에 대한 직접적인 피드백과 지침을 제공할 수 있습니다. 그런 다음 비교 및 순위 지정 데이터라고 하는 이러한 데이터를 사용하여 모델을 훈련시킵니다. 비교 및 순위 지정 데이터의 예시에는 정확도, 관련성 또는 명확성과 같은 기준에 따라 최상부터 최하까지 텍스트 응답의 순위를 매기는 작업이 포함됩니다. 비교 및 순위 데이터를 사용하여 사용 사례에 맞게 기존 FM을 사용자 지정하거나 처음부터 빌드한 모델을 미세 조정할 수 있습니다.

인간의 피드백을 활용하여 가장 중요한 기준(정확성, 관련성, 유해성, 편향, 브랜드 보이스, 스타일 등)의 사용자 지정 가능한 목록과 비교하여 모델 결과를 평가 및 비교하고 사용 사례에 가장 적합한 모델을 선택합니다. AWS는 모델 평가를 빠르게 시작할 수 있는 다양한 방법을 제공합니다. AWS 관리 팀을 활용하여 SageMaker Ground Truth를 통해 모델을 평가, 비교 및 선택할 수 있습니다. 또한 이제 SageMaker Studio, SageMaker Jumpstart 및 Amazon Bedrock을 통해 모델 평가 기능에 액세스할 수 있으며, 사내 팀이 단 몇 번의 클릭만으로 모델 평가를 시작할 수 있습니다.

모델에서 유해한 반응을 유도하려고 의도적으로 시도하고 결과를 체계적으로 검토하여 취약점을 발견함으로써 전반적인 안전성, 견고성 및 신뢰성을 개선합니다.

SageMaker Ground Truth를 사용하면 이미지, 데이터, 비디오, 텍스트 및 3D 포인트 클라우드의 다양한 주석 사용 사례에 대해 30개 이상의 특수한 목적으로 구축한 레이블링 워크플로를 사용할 수 있습니다.

• 이미지 분류: 이미지 분류 워크플로우를 통해 사전 정의된 레이블 세트를 기준으로 이미지를 분류할 수 있습니다. 이미지 분류는 이미지의 전체 컨텍스트를 고려해야 하는 장면 탐지 모델에 유용합니다. 예를 들어 이미지 분류 모델을 만들 수 있습니다.
  

• 이미미 객체 감지: 객체 감지 워크플로를 활용하면 이미지에서 대상 객체(예: 차량, 보행자, 개, 고양이)를 식별하고 레이블링할 수 있습니다. 레이블링 태스크에는 이미지 내의 대상 객체 주변에 2차원(2D) 상자인 경계 상자를 그리는 과정이 포함됩니다. 레이블링된 경계 상자가 있는 이미지를 통해 훈련된 컴퓨터 비전 모델은 상자 내의 픽셀이 지정된 객체에 해당한다는 것을 학습합니다.
  

• 이미지 의미 체계 세분화: 의미 체계 세분화를 사용하면 모델이 학습해야 하는 레이블에 해당하는 정확한 이미지 부분을 레이블링할 수 있습니다. 이렇게 하면 개별 픽셀이 레이블링되기 때문에 고도로 정밀한 훈련 데이터가 생성됩니다. 예를 들어 이미지에 있는 차량의 불규칙한 모양을 의미 체계 세분화를 통해 정확하게 캡처할 수 있습니다.
  

• 비디오 객체 감지: 비디오 객체 감지 워크플로를 사용하면 비디오 프레임 시퀀스 내에서 원하는 객체를 식별할 수 있습니다. 예를 들어 자율 주행 차량의 인식 시스템을 구축할 때 차량 주위의 현장에서 다른 차량을 감지할 수 있습니다.
  

• 비디오 객체 추적: 비디오 객체 추적 워크플로를 활용하면 비디오 프레임의 시퀀스에 걸쳐 원하는 객체를 추적할 수 있습니다. 예를 들어 스포츠 경기 사용 사례에서 경기 시간 내내 선수들을 정확하게 레이블링할 수 있습니다.
  

• 비디오 클립 분류: 비디오 클립 워크플로를 사용하면 비디오 파일을 미리 지정된 범주로 분류할 수 있습니다. 예를 들어 스포츠 경기 또는 교통량이 많은 교차로의 교통 체증과 같이 비디오를 가장 잘 설명하는 미리 지정된 범주를 선택할 수 있습니다.
  

• 텍스트 분류: 텍스트 분류에는 사전 정의된 레이블 세트를 기준으로 텍스트 문자열을 분류하는 과정이 포함됩니다. 이 작업은 주제(예: 제품 설명, 영화 리뷰), 감정 등을 식별하는 자연어 처리(NLP) 모델에 사용되는 경우가 많습니다.
  

• 명명된 엔터티 인식: 명명된 엔터티 인식(NER)에는 텍스트 데이터를 조사하여 명명된 엔터티라는 구문을 찾고 이러한 각 구문을 “사람”, “조직” 또는 “브랜드” 같은 레이블로 분류하는 과정이 포함됩니다.
  

• 3D 포인트 클라우드 객체 감지: 객체 탐지 워크플로를 활용하면 3D 포인트 클라우드 내에서 대상 객체를 식별하여 레이블링할 수 있습니다. 예를 들어 자율 주행 차량 사용 사례에서는 차량, 차선 및 보행자를 정확하게 레이블링할 수 있습니다.
  

• 3D 포인트 클라우드 객체 추적: 객체 추적 워크플로를 사용하여 원하는 객체의 궤적을 추적할 수 있습니다. 예를 들어 자율 주행 차량은 다른 차량, 차선 및 보행자의 움직임을 추적해야 합니다.
  

• 3D 포인트 클라우드 의미 체계 세분화: 의미 체계 세분화 워크플로에서는 3D 포인트 클라우드의 포인트를 미리 지정한 카테고리로 세분화할 수 있습니다. 자율 주행 차량을 예로 들면, Ground Truth는 거리, 나뭇잎, 건물의 존재 여부를 분류할 수 있습니다.
  

SageMaker Ground Truth를 사용하면 사용자 지정 레이블링 워크플로를 만들 수 있습니다. 워크플로는 다음과 같이 구성됩니다. (1) 레이블링 작업자에게 레이블링 작업을 완료하는 데 필요한 지침과 도구를 제공하는 UI 템플릿. 다양한 종류의 UI 템플릿을 사용할 수도 있고, 자체 JavaScript/HTML 템플릿을 업로드할 수도 있습니다. (2) AWS Lambda 함수에 캡슐화된 모든 전처리 로직. Lambda 함수는 레이블러를 위한 추가 컨텍스트와 함께 레이블링할 데이터를 제공할 수 있습니다. (3) AWS Lambda 함수에 캡슐화된 모든 후처리 로직. 이 로직은 정확도 개선 알고리즘을 추가하는 데 사용할 수 있습니다. 이 알고리즘은 사람이 작성한 주석의 품질을 평가할 수도 있고, 여러 인간 레이블러에게 동일한 데이터가 제공되는 경우 “올바른” 데이터에 대한 공통된 의견을 찾을 수도 있습니다.

SageMaker Ground Truth를 사용하면 승인 워크플로 설정, 주석 검토 및 변경, 작업 라우팅, 기계 검증 활용, 품질 지표 추적과 같은 품질 보증 단계를 구현하여 주석 작업의 품질을 검증할 수 있습니다. 또한 작업 검토를 여러 개인에게 라우팅하는 알고리즘을 사용하여 데이터 정확도 수준에 합의하도록 워크플로 내에서 합의를 도출할 수 있습니다.

AWS에서 사용자를 대신하여 인력을 관리하거나 기존 내부 인력을 활용하는 경우를 포함하여 SageMaker Ground Truth는 옵션과 유연성을 제공합니다.

SageMaker Ground Truth Plus는 사용자를 대신하여 확장 가능한 도메인 전문가 인력을 고용하고 관리할 수 있습니다. 예를 들어 오디오 파일 레이블링 작업이나 특정 언어에 능숙한 팀이 필요할 수 있습니다. 고급 사용 사례의 경우 데모 데이터용 서면 콘텐츠를 생성할 수 있는 작업 팀이 필요할 수 있습니다. AWS는 전 세계에서 진행되는 다양한 기간의 프로젝트를 위해 모든 규모의 팀을 모집, 고용, 교육 및 관리할 수 있습니다. AWS 관리형 인력은 보안, 개인정보 보호 및 규정 준수 요구 사항을 충족할 수 있습니다.

사내에 기존 데이터 운영 팀이 있는 경우 SageMaker Ground Truth 도구 및 워크플로를 활용하여 다양한 사용 사례에 걸쳐 데이터에 주석을 달 수 있습니다. 팀의 전문 지식을 선호하거나 특정 데이터 기밀 유지 요구 사항이 있는 경우 이 옵션을 사용할 수 있습니다.

AWS Marketplace에서 선호하는 주석 공급업체를 선택하여 SageMaker Ground Truth에서 작업을 완료할 수 있습니다. 이를 통해 손수 개별 작업자를 찾고 팀을 구성하는 작업을 줄일 수 있습니다.

Amazon Mechanical Turk를 통해 주석 작업을 크라우드소싱하는 방식은 소규모 프로젝트와 대규모 프로젝트 모두에서 비용 효율적이고 확장 가능한 접근 방식이 될 수 있습니다. 다양한 지역에 있는 작업자를 대량으로 활용하고, 작업을 신속하게 설계 및 반복하며, 특정 요구 사항에 맞게 워크플로를 조정할 수 있습니다.

SageMaker Ground Truth에 내장된 보조 도구를 사용하여 레이블을 부착하는 데 필요한 노력을 줄이고 HITL(human-in-the-loop) 작업을 효율적으로 진행하도록 지원하여 시간과 비용을 절약할 수 있습니다.

SageMaker Ground Truth Plus에서는 대화형 대시보드와 사용자 인터페이스를 제공합니다. 이를 통해 여러 프로젝트에서 훈련 데이터 집합의 진행 상황을 검토하고, 일일 처리량과 같은 프로젝트 지표를 추적하며, 레이블의 품질을 검사하고, 레이블이 지정된 데이터에 대한 피드백을 제공할 수 있습니다.