Amazon SageMaker Ground Truth FAQ

Q: HILP(Human in the loop)란 무엇이고, AI 기반 애플리케이션 구축에 이것이 중요한 이유는 무엇인가요?

휴먼인더루프는 ML 수명 주기전반에서 사람의 입력을 활용하여 모델의 정확성과 관련성을 개선하는 프로세스입니다. 사람은 데이터 생성 및 주석 작성에서부터 모델 검토 및 사용자 지정, 평가에 이르는 다양한 태스크를 수행할 수 있습니다. 일반적으로 사람이 콘텐츠의 요청자이자 소비자인 생성형 AI 애플리케이션의 경우 인적 개입이 특히 중요합니다. 따라서 사용자의 프롬프트에 정확하고 안전하며 관련성 있게 반응하도록 사람이 파운데이션 모델(FM)을 훈련하는 것이 중요합니다. 인적 피드백을 적용하면 여러 태스크를 완료하는 데 도움이 될 수 있습니다. 첫째, 지도 학습(사람이 사용자의 프롬프트에 모델이 반응하는 방식의 스타일, 길이, 정확도를 시뮬레이션)과 인적 피드백(사람이 모델 응답에 순위를 매기고 분류)이 포함된 강화 학습을 통해 생성형 AI 애플리케이션을 위한 고품질의 레이블링된 훈련 데이터 세트를 생성합니다. 둘째, 사람이 생성한 데이터를 사용하여 특정 태스크나 회사 및 도메인별 데이터에 맞게 FM을 사용자 지정하고 자신에게 적합한 모델 출력을 생성합니다. 마지막으로 인간의 평가와 비교를 통해 사용 사례와 프로젝트 요구 사항에 가장 적합한 FM을 선택합니다.

Q: Amazon SageMaker Ground Truth의 셀프 서비스와 AWS 관리형 서비스의 차이점은 무엇인가요?

Amazon SageMaker Ground Truth는 가장 포괄적인 HILP(Human in the loop) 기능을 제공합니다. Amazon SageMaker Ground Truth는 셀프 서비스와 AWS 관리형 서비스라는 두 가지 방법으로 사용할 수 있습니다. 셀프 서비스에서는 데이터 주석 작성자, 콘텐츠 제작자, 프롬프트 엔지니어(사내, 공급업체 관리 또는 일반 사용자 활용)가 로우 코드 사용자 인터페이스를 사용하여 휴먼인더루프 태스크를 가속화하면서 사용자 지정 워크플로를 유연하게 구축하고 관리할 수 있습니다. AWS 관리형 서비스(SageMaker Ground Truth Plus)에서는 사용 사례에 적합한 인력을 선택하고 관리하는 것을 포함하여 어려운 작업을 AWS가 대신 처리합니다. SageMaker Ground Truth Plus는 전체 워크플로(상세한 인력 교육 및 품질 보증 단계 포함)를 설계 및 맞춤화하며 특정 태스크에 대해 훈련을 받고 데이터 품질, 보안, 규정 준수 요구 사항을 충족하는 숙련된 AWS 관리 팀을 제공합니다.

Q: 휴먼인더루프 기능을 FM 기반 생성형 AI 애플리케이션에 사용하려면 어떻게 해야 하나요?

휴먼인더루프 기능은 FM 기반 생성형 AI 애플리케이션을 만들고 개선하는 데 중요한 역할을 합니다. 태스크 지침에 따라 교육을 받은 고도로 숙련된 인력은 FM 훈련을 위한 시연 데이터 생성, 샘플 응답 수정 및 개선, 회사 및 업계 데이터를 기반으로 한 모델 미세 조정, 유해성 및 편견에 대한 보호 장치 역할 등과 같은 활동에 대한 피드백, 지침, 의견, 평가를 제공할 수 있습니다. 따라서 휴먼인더루프 기능은 모델 정확도와 성능을 개선할 수 있습니다.

Q: Amazon SageMaker Ground Truth를 시작하려면 어떻게 해야 합니까?

Amazon SageMaker Ground Truth Plus(AWS 관리형 제품)를 시작하려면 프로젝트 요구 사항 양식을 작성하세요. 저희 팀이 휴먼인더루프 프로젝트에 대해 논의하기 위해 연락을 드릴 것입니다.

Amazon SageMaker Ground Truth(셀프 서비스)를 시작하려면 AWS Management Console에 로그인하고 SageMaker 콘솔로 이동합니다. Ground Truth 아래에서 레이블링 작업을 선택합니다. 여기에서 라벨링 작업을 생성할 수 있습니다. 라벨링 작업 생성 흐름의 첫 단계로 라벨링할 데이터 세트가 포함된 S3 버킷에 대한 포인터를 제공합니다. Ground Truth에서는 일반 라벨링 작업에 대한 템플릿을 제공합니다. 따라서 클릭 몇 번으로 데이터 라벨링 방법에 대한 최소한의 지침만 제공하면 됩니다. 또는 자체 사용자 지정 템플릿을 생성할 수 있습니다. 라벨링 작업 생성의 마지막 단계로 세 가지 인력 옵션, 즉 퍼블릭 크라우드 소싱 인력, 큐레이트된 타사 데이터 라벨링 서비스 공급자 또는 자체 작업자 중에서 선택합니다. 또한 자동 데이터 라벨링을 활성화하는 옵션도 있습니다.

Q: Amazon SageMaker Ground Truth는 어떻게 데이터를 보호하고, 보안을 유지하나요?

기본적으로 Amazon SageMaker Ground Truth는 Amazon S3 버킷에 저장된 데이터를 저장하거나 전송할 때 암호화합니다. 또한, AWS Identity and Access Management(IAM) 서비스를 사용하여 데이터에 대한 액세스를 제어합니다. SageMaker Ground Truth는 (사용자가 생성하거나 AWS 관리형 서비스를 통해 생성한) AWS 환경 외부에 데이터를 저장하거나 복사본을 만들지 않으며 데이터는 사용자가 제어할 수 있습니다. 또한 Ground Truth는 GDPR(일반 데이터 보호 규정)과 같은 표준 준수를 지원하고, Amazon CloudWatch 및 Amazon CloudTrail을 사용한 포괄적 로깅 및 감사 기능을 제공합니다. 자세한 내용은 Amazon SageMaker Ground Truth 설명서를 참조하세요.

Q: Amazon SageMaker Ground Truth는 프로젝트에 적합한 인력을 어떻게 찾을 수 있습니까?

Amazon SageMaker Ground Truth Plus(AWS 관리형 서비스)를 사용하면 특정 AI/ML 태스크에 대해 훈련을 받고, 특정 프로젝트 요구 사항에 따라 워크플로를 동적으로 확장 또는 축소하고, 데이터 품질, 보안 및 규정 준수 요구 사항을 충족하는 데 도움을 줄 수 있는 전문가 인력을 이용할 수 있습니다. 우리 팀은 프로젝트에 필요한 기술을 이해하고 적절한 인력을 배치하기 위해 협력할 것입니다.

Q: Amazon SageMaker Ground Truth의 비용은 얼마이며, 어느 AWS 리전에서 사용할 수 있습니까?

최신 요금 정보는 SageMaker Ground Truth 요금 페이지를 참조하세요. SageMaker Ground Truth Plus 프로젝트는 개별적으로 가격이 책정되며 프로젝트 요구 사항 양식을 제출하면 가격 옵션에 대한 검토가 진행됩니다.
AWS 리전 표에는 Amazon SageMaker Ground Truth가 현재 제공되는 모든 AWS 리전이 나와 있습니다.