Amazon SageMaker FAQ

SageMaker는 ML 수명 주기 전반에 걸쳐 목적별 ML 거버넌스 도구를 제공합니다. 관리자는 Amazon SageMaker 역할 관리자를 사용하여 최소 권한을 몇 분 만에 정의할 수 있습니다. Amazon SageMaker 모델 카드를 사용하면 필수 모델 정보를 개념 단계부터 배포 단계까지 손쉽게 캡처, 검색 및 공유할 수 있고, Amazon SageMaker 모델 대시보드라는 한 장소에서 프로덕션 모델 동작에 대한 정보를 지속적으로 확인할 수 있습니다. 자세한
내용은 Amazon SageMaker를 사용한 ML 거버넌스를 참조하세요.

SageMaker 역할 관리자를 사용하면 최소 권한을 몇 분 만에 정의할 수 있습니다. SageMaker 역할 관리자는 사전 구축된 IAM 정책 카탈로그를 통해 ML 활동 및 페르소나에 대한 기본 권한 세트를 제공합니다. 기준 권한을 유지하거나 특정한 요구 사항에 따라 추가로 사용자 지정할 수 있습니다. 몇 가지 셀프 구성 화면을 통해 네트워크 액세스 경계, 암호화 키 등 일반적인 거버넌스 구성을 빠르게 입력할 수 있습니다. 그러면 SageMaker Role Manager가 IAM 정책을 자동으로 생성합니다. AWS IAM 콘솔을 통해 생성된 역할과 관련 정책을 검색할 수 있습니다. 사용 사례에 대한 권한을 추가로 사용자 지정하려면, SageMaker Role Manager에서 생성하는 IAM 역할에 관리형 IAM 정책을 연결합니다. 또한 AWS 서비스 전반에서 역할을 식별하고 구성하는 데 유용한 태그를 추가할 수 있습니다.

SageMaker 모델 카드는 모델 정보의 단일 소스를 생성하여 ML 수명 주기 전반에서 모델 설명서를 중앙 집중화하고 표준화하는 데 도움이 됩니다. SageMaker 모델 카드는 훈련 세부 정보를 자동으로 입력하여 문서화 프로세스의 속도를 높여줍니다. 모델의 용도 및 성능 목표와 같은 세부 정보를 추가할 수도 있습니다. 모델 평가 결과를 모델 카드에 첨부하고, 시각화 요소를 제공하여 모델 성능에 대한 주요 인사이트를 얻을 수 있습니다. SageMaker 모델 카드를 PDF 형식으로 내보내 다른 사용자와 손쉽게 공유할 수 있습니다.

SageMaker 모델 대시보드는 배포된 모델과 엔드포인트에 대한 전반적인 개요 정보를 제공하므로, 단일 창에서 리소스를 추적하고 동작 위반을 모델링할 수 있습니다. 대시보드에서는 4가지 차원으로 모델 동작을 모니터링할 수 있습니다. 예를 들어 데이터 및 모델 품질로 모니터링하거나 SageMaker Model Monitor 및 SageMaker Clarify와 통합할 경우 바이어스 및 특성 기여도 드리프트로 모니터링할 수 있습니다. 또한 SageMaker 모델 대시보드는 누락되고 비활성화된 모델 모니터링 작업과 모델 품질, 데이터 품질, 바이어스 드리프트 및 특성 기여도 드리프트에 대한 모델 동작의 편차에 대한 알림을 설정하고 받을 수 있는 통합 경험을 제공합니다. 개별 모델을 추가로 검사하고 시간 경과에 따라 모델 성능에 영향을 미치는 요인을 분석할 수 있습니다. 그런 다음 ML 실무자와 함께 시정 조치를 취할 수 있습니다.

SageMaker JumpStart를 사용하면 ML을 빠르고 쉽게 시작할 수 있습니다. SageMaker JumpStart는 몇 단계로 손쉽게 배포할 수 있는, 가장 일반적인 사용 사례를 위한 솔루션 세트를 제공합니다. 솔루션은 모든 사용자 지정이 가능하며 AWS CloudFormation 템플릿과 참조 아키텍처 사용을 보여주므로 ML 여정의 속도를 높일 수 있습니다. 또한 SageMaker JumpStart는 기초 모델을 제공하고 한 단계로 배포와 변환 도구, 객체 탐지 및 이미지 분류 모델과 같은 150개가 넘는 널리 사용되는 오픈 소스 모델에 대한 세분화된 튜닝도 지원합니다. 

SageMaker JumpStart는 독점 모델과 공개 모델을 제공합니다. 사용 가능한 파운데이션 모델의 목록은 Amazon SageMaker JumpStart 시작하기를 참조하세요.

SageMaker Studio, SageMaker SDK 및 AWS Management Console을 통해 기초 모델에 액세스할 수 있습니다. 독점 파운데이션 모델을 시작하려면 AWS Marketplace의 판매 약관에 동의해야 합니다.

아니요. 추론 및 훈련 데이터는 SageMaker JumpStart가 고객에게 제공하는 기본 모델의 업데이트 또는 훈련에 사용되거나 공유되지 않습니다.

아니요. 독점 모델에서는 모델 가중치 및 스크립트를 볼 수 없습니다.

SageMaker Studio를 사용할 수 있는 모든 리전에서 모델을 검색할 수 있지만 모델 배포 기능은 필요한 인스턴스 유형의 모델 및 인스턴스 가용성에 따라 다릅니다. AWS Marketplace의 모델 세부 정보 페이지에서 AWS 리전 가용성 및 필요한 인스턴스를 참조할 수 있습니다.

독점 모델의 경우 모델 제공자가 결정한 소프트웨어 요금과 사용된 인스턴스를 기준으로 한 SageMaker 인프라 요금이 부과됩니다. 공개적으로 사용 가능한 모델의 경우 사용된 인스턴스를 기준으로 한 SageMaker 인프라 요금이 부과됩니다. 자세한 내용은 Amazon SageMaker 요금 및 AWS Marketplace를 참조하세요.

보안은 AWS의 최우선 과제이며 SageMaker JumpStart는 안전하도록 설계되었습니다. 따라서 SageMaker에서는 콘텐츠를 저장할 장소를 결정하고, 저장 콘텐츠 및 전송 콘텐츠를 보호하며, AWS 서비스와 리소스에 대한 사용자의 액세스를 관리할 수 있는 단순하지만 강력한 도구를 통해 고객에게 콘텐츠에 대한 소유권과 제어권을 제공합니다.

1. AWS는 고객의 훈련 및 추론 정보를 AWS Marketplace의 모델 판매자와 공유하지 않습니다. 마찬가지로 판매자의 모델 아티팩트(예: 모델 가중치)는 구매자와 공유되지 않습니다.
2. SageMaker JumpStart는 고객의 모델, 훈련 데이터 또는 알고리즘을 사용하여 서비스를 개선하지 않으며 고객의 훈련 및 추론 데이터를 서드 파티와 공유하지 않습니다.
3. SageMaker JumpStart에서는 ML 모델 아티팩트가 전송 및 저장 중에 암호화됩니다.
4. AWS Shared Responsibility Model에 따라 AWS는 AWS의 모든 것이 실행되는 글로벌 인프라를 보호할 책임이 있습니다. 이 인프라에서 호스팅되는 콘텐츠에 대한 제어를 유지할 책임은 사용자에게 있습니다.

AWS Marketplace 또는 SageMaker JumpStart의 모델을 사용할 때 사용자는 모델 출력 품질에 대한 책임을 지고 개별 모델 설명에 설명된 기능 및 한계를 인정합니다.

SageMaker JumpStart에는 PyTorch Hub 및 TensorFlow Hub의 사전 훈련된 공개 모델이 150개 이상 포함되어 있습니다. 이미지 분류 및 객체 탐지와 같은 비전 태스크의 경우 RESNET, MobileNet, Single-Shot Detector(SSD)와 같은 모델을 사용할 수 있습니다. 문장 분류, 텍스트 분류, 질문 답변과 같은 텍스트 태스크의 경우 BERT, RoBERTa, DistilBERT와 같은 모델을 사용할 수 있습니다.

SageMaker JumpStart를 사용하면 노트북 및 모델을 포함한 ML 아티팩트를 조직 내에서 손쉽게 공유할 수 있습니다. 관리자는 정의된 사용자 집합이 액세스할 수 있는 리포지토리를 설정할 수 있습니다. 리포지토리 액세스 권한이 있는 모든 사용자는 모델 및 노트북과 SageMaker JumpStart 내부의 공개 콘텐츠를 찾아보고 검색하고 사용할 수 있습니다. 사용자는 SageMaker JumpStart에서 아티팩트를 선택하여 모델을 훈련하고 엔드포인트를 배포하며 노트북을 실행할 수 있습니다.

SageMaker JumpStart를 사용하면 구축하는 ML 애플리케이션의 출시를 가속화할 수 있습니다. 조직 내에서 한 팀이 구축한 모델 및 노트북을 단 몇 단계로 손쉽게 조직 내의 다른 팀과 공유할 수 있습니다. 내부에서 지식을 공유하고 자산을 재사용하면 조직의 생산성이 크게 개선될 수 있습니다.

이제 Amazon SageMaker Clarify에서 파운데이션 모델 평가가 지원됩니다. 특정 사용 사례에 가장 적합한 파운데이션 모델을 평가, 비교, 선택할 수 있습니다. 주어진 태스크(예: 질문 답변 또는 콘텐츠 요약)에 대해 평가하려는 모델을 선택하기만 하면 됩니다. 그런 다음 평가 기준(예: 정확성, 공정성, 견고성)을 선택하고 자체 프롬프트 데이터 세트를 업로드하거나 공개적으로 사용 가능한 기본 제공 데이터 세트 중에서 선택합니다. 정교한 인간의 판단이 필요한 주관적 기준 또는 미묘한 콘텐츠의 경우 자체 인력을 활용하거나 AWS에서 제공하는 관리형 인력을 사용하여 응답을 검토할 수 있습니다. 설정 프로세스를 마치면 SageMaker Clarify에서 평가가 실행되고 보고서가 생성되므로 주요 기준에 대한 모델의 성능을 쉽게 이해할 수 있습니다. 평가 마법사를 사용하여 SageMaker JumpStart의 파운데이션 모델을 평가하거나 오픈 소스 라이브러리를 사용하여 AWS에서 호스팅되지 않는 모든 파운데이션 모델을 평가할 수 있습니다.

예. 관리자는 여러 AWS 계정 및 사용자 보안 주체에서 사용자가 어떤 Amazon SageMaker JumpStart 모델을 보고 사용할 수 있는지 제어할 수 있습니다. 자세한 내용은 설명서를 참조하세요.

추론 최적화 도구 키트를 사용하면 최신 추론 최적화 기법을 쉽게 구현하여 Amazon SageMaker에서 최첨단(SOTA) 비용 대비 성능을 달성하는 동시에 몇 개월의 개발자 시간을 절약할 수 있습니다. SageMaker가 제공하는 인기 최적화 기법 메뉴에서 선택하여 최적화 작업을 미리 실행하고, 성능 및 정확도 지표에 대한 모델을 벤치마킹한 다음 추론을 위해 최적화된 모델을 SageMaker 엔드포인트에 배포할 수 있습니다. 도구 키트가 모델 최적화의 모든 측면을 처리하므로 비즈니스 목표에 더 집중할 수 있습니다.

추론 최적화 도구 키트는 생성형 AI 애플리케이션의 비용 대비 성능과 출시 시간 개선에 도움이 됩니다. 완전관리형 모델 최적화 도구 키트를 통해 사용하기 쉬운 도구로 최신 최적화 기법을 이용할 수 있습니다. 또한 도구 키트가 최첨단 혁신, 새로운 하드웨어 및 호스팅 기능에 맞춰 지속적으로 조정되므로 시간이 지남에 따라 사용 가능한 최상의 솔루션으로 쉽게 업그레이드할 수 있습니다.

추론 최적화 도구 키트는 추측 디코딩, 양자화, 컴파일 같은 최적화 기법을 지원합니다. 클릭 몇 번으로 모델에 추가할 최적화를 선택할 수 있으며, 하드웨어 조달, 최적화 작업을 실행할 딥 러닝 컨테이너 및 해당 튜닝 파라미터 선택, 사용자가 제공한 S3 위치에 최적화된 모델 아티팩트 저장 등 차별화되지 않는 힘든 일은 모두 Amazon SageMaker가 관리합니다.

추측 디코딩의 경우 SageMaker가 제공하는 초안 모델을 사용하여 시작할 수 있으므로 자체 초안 모델을 처음부터 구축하지 않아도 되고 요청 라우팅 및 시스템 수준 최적화가 필요 없습니다. 양자화의 경우 사용하려는 정밀도 유형을 선택하고 벤치마킹 작업을 시작하여 성능과 정확도의 균형을 측정하기만 하면 됩니다. Amazon SageMaker는 포괄적인 평가 보고서를 생성하므로 성능과 정확도의 균형을 쉽게 분석할 수 있습니다. 컴파일에서는 가장 인기 있는 모델과 구성의 경우 Amazon SageMaker가 엔드포인트 설정 및 규모 조정 중에 컴파일된 모델 아티팩트를 자동으로 가져옵니다. 따라서 미리 컴파일 작업을 실행할 필요가 없어 하드웨어 비용이 절약됩니다.

Amazon SageMaker 추론 최적화 도구 키트를 사용하면 GenAI 모델 최적화에 드는 비용과 시간을 줄여 비즈니스 목표에 집중할 수 있습니다.

SageMaker Canvas는 마우스 클릭 방식의 직관적인 인터페이스를 제공하는 노코드 서비스로, 데이터에서 매우 정확한 ML 기반 예측을 생성하는 데 사용할 수 있습니다. SageMaker Canvas를 사용하면 드래그 앤 드롭 방식의 사용자 인터페이스를 사용하여 다양한 소스의 데이터에 액세스하고 이러한 데이터를 결합할 수 있습니다. 데이터가 자동으로 정리되고 준비되므로 수동 정리 작업이 최소화됩니다. SageMaker Canvas는 다양한 최첨단 ML 알고리즘을 적용하여 고도로 정확한 예측 모델을 찾으며, 예측을 수행할 수 있는 직관적인 인터페이스를 제공합니다. SageMaker Canvas를 사용하면 다양한 비즈니스 애플리케이션에서 훨씬 더 정확한 예측을 수행하고 모델, 데이터 및 보고서를 공유하여 기업의 데이터 사이언티스트 및 분석가와 쉽게 협업할 수 있습니다. SageMaker Canvas에 대해 자세히 알아보려면 Amazon SageMaker Canvas FAQ를 참조하세요.

SageMaker Canvas 요금은 사용량에 따라 부과됩니다. SageMaker Canvas를 사용하면 여러 소스의 데이터를 대화형으로 수집, 탐색 및 준비하고, 데이터를 사용하여 고도로 정확한 ML 모델을 훈련하고 예측을 생성할 수 있습니다. 요금은 2가지 구성 요소로 결정됩니다. 세션 요금은 SageMaker Canvas를 사용하거나 로그인한 시간에 따라 부과되며 모델 훈련 요금은 모델 구축 시 사용한 데이터 세트의 크기에 따라 부과됩니다. 자세한 내용은 Amazon SageMaker Canvas 요금을 참조하세요.

Amazon SageMaker Pipelines는 데이터 준비에서 모델 배포에 이르는 완전 자동화된 ML 워크플로를 생성하여 프로덕션 환경에서 수천 개의 ML 모델로 확장하는 데 도움이 됩니다. SageMaker Python SDK로 파이프라인을 생성하여 SageMaker Studio의 시각적 인터페이스에서 파이프라인을 보고, 실행하고, 감사할 수 있습니다. SageMaker Pipelines는 단계 사이에서 데이터를 관리하고, 코드 레시피를 패키지로 작성하며, 실행을 조정합니다. 따라서 수개월이 걸리던 코딩 작업이 몇 시간으로 줄어듭니다. 워크플로를 실행할 때마다 수행되는 작업과 처리되는 데이터의 전체 레코드가 유지되므로, 데이터 사이언티스트와 기계 학습 개발자는 문제를 빠르게 디버깅할 수 있습니다.

SageMaker 파이프라인의 모델 등록 단계를 사용하여 배포 대상인 모델을 모두 한 곳에 통합할 수 있습니다. 나중에 팀 관리자 또는 다른 구성원이 SageMaker Studio UI 또는 Python SDK를 통해 SageMaker 모델 레지스트리에 배포하도록 이러한 모델을 검색, 검토, 승인할 수 있습니다.

SageMaker 파이프라인은 '단계'로 구성됩니다. 기본적으로 지원되는 단계 유형을 선택하여 다양한 SageMaker 기능(예: 훈련, 평가) 또는 기타 AWS 서비스(예: EMR, Lambda)를 간접적으로 호출하는 워크플로를 구성할 수 있습니다. 또한 '@step' Python 데코레이터를 사용하거나 전체 Python 노트북을 파이프라인의 구성 요소로 추가하여 기존 ML Python 코드를 SageMaker 파이프라인으로 리프트 앤 시프트할 수 있습니다. 자세한 내용은 SageMaker Pipelines 개발자 안내서를 참조하세요.

SageMaker Pipelines는 모든 모델 구성 요소를 자동으로 추적하고 모든 변경 사항에 대한 감사 추적을 유지하므로 수동 추적은 필요하지 않으며 규제 준수 목표를 달성하는 데 도움이 될 수 있습니다. SageMaker Pipelines에서는 데이터, 코드, 훈련된 모델 등을 추적할 수 있습니다.

SageMaker Pipelines 사용에 대한 추가 비용은 없습니다. SageMaker Pipelines 내에서 사용하는 개별 AWS 서비스 또는 기본 컴퓨팅에 대한 비용만 지불하면 됩니다.

예. Amazon SageMaker Components for Kubeflow Pipelines는 Kubeflow Pipelines를 사용하여 ML 워크플로를 정의하고 SageMaker를 사용하여 데이터 레이블링, 훈련 및 추론 단계를 수행할 수 있도록 하는 오픈 소스 플러그인입니다. Kubeflow Pipelines는 확장 가능하고 이식 가능하며 완전한 ML 파이프라인을 구축 및 배포할 수 있는 Kubeflow 추가 기능입니다. 그러나 Kubeflow Pipelines를 사용할 때 ML 운영 팀은 Kubernetes 클러스터의 CPU 및 GPU 인스턴스를 관리하고 사용률을 계속 높게 유지하여 운영 비용을 절감해야 합니다. 데이터 과학 팀 전체에서 클러스터의 사용률을 극대화하는 것은 어려운 일이며 ML 운영 팀에 추가적인 운영 오버헤드가 발생합니다. ML 최적화 Kubernetes 클러스터 대신, SageMaker Components for Kubeflow Pipelines를 사용하면 기계 학습 작업을 실행하기 위해 Kubernetes 클러스터를 특별히 구성 및 관리할 필요 없이 데이터 레이블링, 완전관리형 대규모 하이퍼파라미터 튜닝 및 분산 훈련 작업, 안전하고 확장 가능한 원클릭 모델 배포, Amazon Elastic Compute Cloud(Amazon EC2) 스팟 인스턴스를 통한 비용 효율적인 훈련과 같은 강력한 SageMaker 기능을 활용할 수 있습니다.

SageMaker Components for Kubeflow Pipelines 사용에 대한 추가 비용은 없습니다. 

휴먼인더루프는 ML 수명 주기전반에서 사람의 입력을 활용하여 모델의 정확성과 관련성을 개선하는 프로세스입니다. 사람은 데이터 생성 및 주석부터 모델 검토 및 사용자 지정에 이르는 다양한 태스크를 수행할 수 있습니다. 일반적으로 사람이 콘텐츠의 요청자이자 소비자인 생성형 AI 애플리케이션의 경우 인적 개입이 특히 중요합니다. 따라서 사용자의 프롬프트에 정확하고 안전하며 관련성 있게 반응하도록 사람이 파운데이션 모델(FM)을 훈련하는 것이 중요합니다. 인적 피드백을 적용하면 여러 태스크를 완료하는 데 도움이 될 수 있습니다. 첫째, 지도 학습(사람이 사용자의 프롬프트에 모델이 반응하는 방식의 스타일, 길이, 정확도를 시뮬레이션)과 인적 피드백(사람이 모델 응답에 순위를 매기고 분류)이 포함된 강화 학습을 통해 생성형 AI 애플리케이션을 위한 고품질의 레이블링된 훈련 데이터 세트를 생성합니다. 둘째, 사람이 생성한 데이터를 사용하여 특정 태스크나 회사 및 도메인별 데이터에 맞게 FM을 사용자 지정하고 자신에게 적합한 모델 출력을 생성합니다.

휴먼인더루프 기능은 FM 기반 생성형 AI 애플리케이션을 만들고 개선하는 데 중요한 역할을 합니다. 태스크 지침에 따라 교육을 받은 고도로 숙련된 인력은 FM 훈련을 위한 시연 데이터 생성, 샘플 응답 수정 및 개선, 회사 및 업계 데이터를 기반으로 한 모델 미세 조정, 유해성 및 편견에 대한 보호 장치 역할 등과 같은 활동에 대한 피드백, 지침, 의견, 평가를 제공할 수 있습니다. 따라서 휴먼인더루프 기능은 모델 정확도와 성능을 개선할 수 있습니다. 

Amazon SageMaker Ground Truth는 가장 포괄적인 휴먼인더루프 기능을 제공합니다. Amazon SageMaker Ground Truth는 셀프 서비스와 AWS 관리형 서비스라는 두 가지 방법으로 사용할 수 있습니다. 셀프 서비스에서는 데이터 주석 작성자, 콘텐츠 제작자, 프롬프트 엔지니어(사내, 공급업체 관리 또는 일반 사용자 활용)가 로우 코드 사용자 인터페이스를 사용하여 휴먼인더루프 태스크를 가속화하면서 사용자 지정 워크플로를 유연하게 구축하고 관리할 수 있습니다. AWS 관리형 서비스(SageMaker Ground Truth Plus)에서는 사용 사례에 적합한 인력을 선택하고 관리하는 것을 포함하여 어려운 작업을 AWS가 대신 처리합니다. 전체 워크플로(상세한 인력 교육 및 품질 보증 단계 포함)가 SageMaker Ground Truth Plus를 통해 설계 및 사용자 지정되며 특정 태스크에 대해 교육을 받고 데이터 품질, 보안, 규정 준수 요구 사항을 충족하는 숙련된 AWS 관리 팀이 제공됩니다. 

SageMaker Data Wrangler는 ML용 데이터를 집계하고 준비하는 시간을 줄여줍니다. SageMaker Studio의 단일 인터페이스를 통해 단 몇 단계로 Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake 및 Databricks에서 데이터를 찾아서 가져올 수 있습니다. 50개 이상의 데이터 소스에서 전송되어 Amazon AppFlow를 통해 AWS Glue 데이터 카탈로그에 등록된 데이터를 쿼리하고 가져올 수도 있습니다. SageMaker Data Wrangler는 원시 데이터를 자동으로 로드하고 집계한 후 표시합니다. 데이터를 SageMaker Data Wrangler로 가져오면 자동으로 생성된 열 요약 및 히스토그램이 표시됩니다. SageMaker Data Wrangler의 데이터 품질 및 인사이트 보고서를 사용하면 제공된 요약 통계 및 데이터 품질 경고를 바탕으로 데이터를 더 자세히 살펴보고 잠재적 오류를 식별할 수 있습니다. SageMaker Clarify에서 지원하는 바이어스 분석을 SageMaker Data Wrangler에서 직접 실행하여 데이터 준비 중에 잠재적 바이어스를 감지할 수도 있습니다. 거기에서 SageMaker Data Wrangler의 미리 구축된 변환을 사용하여 데이터를 준비할 수 있습니다. 데이터가 준비되면 Amazon SageMaker Pipelines에서 완전히 자동화된 ML 워크플로를 구축하거나 Amazon SageMaker 특성 저장소로 해당 데이터를 가져올 수 있습니다.

SageMaker Data Wrangler는 테이블, 시계열, 이미지 데이터를 지원하며 이 다양한 데이터 양식을 준비할 수 있도록 300개 이상의 사전 구성된 데이터 변환을 제공합니다. Data Wrangler는 NLP 사용 사례에 맞게 Data Wrangler에서 텍스트 데이터를 준비하려는 고객을 위해 NLTK 라이브러리를 지원합니다. 따라서 Data Wrangler에서 자체 사용자 지정 변환을 작성하여 텍스트 데이터를 준비할 수 있습니다.

SageMaker Data Wrangler는 300여 개의 사전 구축된 PySpark 기반 데이터 변환 기능을 제공하므로 단 한 줄의 코드 작성 없이 데이터를 변환하고 데이터 준비 워크플로를 확장할 수 있습니다. 또한 FM 기반 자연어 인터페이스를 사용하여 ML 모델용 데이터를 변환하거나 SageMaker Data Wrangler 스니펫 라이브러리에서 사용자 지정 코드 스니펫을 작성할 수 있습니다.

SageMaker Data Wrangler는 미리 구성된 강력한 시각화 템플릿 세트를 통해 데이터를 이해하고 잠재적 오류와 극단 값을 식별하는 데 도움이 됩니다. 코드 작성 없이 히스토그램, 산점도 및 ML 특정 시각화(예: 대상 유출 탐지)를 모두 사용할 수 있습니다. 고유한 시각화를 생성하고 편집할 수도 있습니다.

SageMaker Data Wrangler에 대해 사용하는 모든 ML 컴퓨팅, 스토리지 및 데이터 처리 리소스에 대한 요금만 청구됩니다. SageMaker Data Wrangler 요금에 대한 모든 세부 정보는 여기에서 검토할 수 있습니다. AWS 프리 티어를 사용하는 고객은 SageMaker Data Wrangler를 무료로 시작할 수도 있습니다.

SageMaker Data Wrangler는 SageMaker Canvas에서 데이터를 준비하고 기계 학습 모델을 원활하게 훈련할 수 있는 통합 경험을 제공합니다. SageMaker Canvas는 데이터를 기반으로 최상의 ML 모델을 자동으로 구축, 훈련 및 튜닝합니다. SageMaker Data Wrangler에서 준비한 특성을 기존 모델에 사용할 수도 있습니다. SageMaker Data Wrangler 처리 작업을 SageMaker 훈련 파이프라인의 일부로 실행되도록 구성할 수 있습니다. 사용자 인터페이스(UI)에서 작업을 구성하거나 오케스트레이션 코드로 노트북을 내보내면 됩니다.

SageMaker Data Wrangler UI에서 직접 SageMaker 처리 작업을 구성하고 시작할 수 있습니다. 예를 들어 데이터 처리 작업을 예약하고 데이터 소스를 파라미터화하여 새 데이터 배치를 대규모로 손쉽게 변환할 수 있습니다.

데이터가 준비된 후에는 SageMaker Data Wrangler에서 다양한 옵션을 사용하여 SageMaker Data Wrangler 흐름을 프로덕션으로 승격하고 MLOps 및 CI/CD 기능과 원활하게 통합할 수 있습니다. SageMaker Data Wrangler UI에서 직접 SageMaker 처리 작업을 구성하고 시작할 수 있습니다. 예를 들어 데이터 처리 작업을 예약하고 데이터 소스를 파라미터화하여 새 데이터 배치를 대규모로 손쉽게 변환할 수 있습니다. SageMaker Data Wrangler는 SageMaker 처리 및 SageMaker Spark 컨테이너와 원활하게 통합되므로 간편하게 SageMaker SDK를 사용하여 SageMaker Data Wrangler를 프로덕션 워크플로에 통합할 수도 있습니다.

SageMaker Data Wrangler에서 몇 단계를 수행하여 기본 하이퍼파라미터로 XGBoost 모델을 분할하고 훈련할 수 있습니다. SageMaker Data Wrangler는 문제 유형에 따라 모델 요약, 특성 요약 및 혼동 행렬을 제공하므로 이러한 인사이트를 빠르게 확인하여 데이터 준비 흐름을 반복할 수 있습니다. 

SageMaker Data Wrangler는 데이터 가져오기에 상위 K 샘플링, 무작위 샘플링 및 층화 샘플링 등 다양한 샘플링 기법을 지원합니다. 따라서 SageMaker Data Wrangler의 UI를 사용하여 데이터를 빠르게 변환할 수 있습니다. 크거나 넓은 데이터 세트를 사용하는 경우 SageMaker Data Wrangler 인스턴스 크기를 늘려 성능을 개선할 수 있습니다. 흐름을 생성한 후에는 SageMaker Data Wrangler 처리 작업을 사용하여 전체 데이터 세트를 처리할 수 있습니다.

예. SageMaker 특성 저장소를 SageMaker Data Wrangler에서 준비한 특성의 대상으로 구성할 수 있습니다. UI에서 직접 이 작업을 수행하거나 SageMaker 특성 저장소를 데이터 처리 대상으로 사용하기 위해 특별히 생성된 노트북을 내보낼 수 있습니다.

SageMaker 특성 저장소는 기계 학습(ML) 모델 특성을 저장, 공유, 관리하도록 특별히 구축된 완전관리형 플랫폼입니다. 특성을 검색하고 공유할 수 있으므로 AWS 계정을 포함하여 보안 액세스 및 제어를 통해 모델 및 팀 간에 쉽게 재사용할 수 있습니다. SageMaker 특성 저장소는 실시간 추론, 배치 추론, 훈련을 위한 온라인 및 오프라인 기능을 모두 지원합니다. 또한 배치 및 스트리밍 특성 추출 파이프라인을 관리하여 특성 생성 시 중복을 줄이고 모델 정확도를 개선합니다.

오프라인 특성은 일반적으로 교육 및 배치 추론에 사용되는 대량의 기록 데이터입니다. 오프라인 특성은 가용성과 내구성이 뛰어난 객체 저장소에서 유지 관리됩니다.

온라인 특성은 애플리케이션에서 실시간 예측을 위해 사용됩니다. 온라인 특성은 고처리량 저장소에서 제공되며 클라이언트 애플리케이션에서 빠른 예측을 위한 10밀리초 미만의 지연 시간을 지원합니다.

SageMaker 특성 저장소는 추가 관리 또는 코드 없이도 온라인 기능과 오프라인 기능 간의 일관성을 자동으로 유지하므로 훈련 및 추론 환경 전반에서 일관성을 유지할 수 있습니다.

SageMaker 특성 저장소는 모든 특성에 대한 타임스탬프를 유지 관리하고 비즈니스 또는 규정 준수 요구 사항에 따라 언제든지 특성을 검색하는 데 도움이 되는 내장 메서드를 제공합니다. 복잡한 SQL 쿼리를 작성하거나 대량의 코드를 작성하는 대신 시간 여행 및 특정 시점의 정확한 조인을 위한 내장 메서드를 직접 호출하여 관심 기간 동안의 학습 및 배치 추론을 위한 데이터 세트를 생성할 수 있습니다

AWS 프리 티어의 일부로 SageMaker 특성 저장소를 무료로 시작할 수 있습니다. SageMaker 특성 저장소를 사용할 때는 특성 저장소에 대한 쓰기 작업 요금과 온라인 특성 저장소의 읽기 및 저장 작업에 대한 요금이 부과됩니다. 자세한 요금은 Amazon SageMaker 요금을 참조하세요.

SageMaker는 Amazon SageMaker Ground Truth Plus 및 Amazon SageMaker Ground Truth라는 2가지 데이터 레이블링 기능을 제공합니다. 두 옵션 모두 이미지, 텍스트 파일 및 비디오와 같은 원시 데이터를 식별하고 정보 레이블을 추가하여 ML 모델을 위한 고품질 훈련 데이터 세트를 생성할 수 있습니다. 자세히 알아보려면 Amazon SageMaker 데이터 레이블링을 참조하세요.

지리 공간 데이터는 지구 표면의 형상이나 물체를 나타냅니다. 지리 공간 데이터의 첫 번째 유형은 벡터 데이터로, 점, 선 또는 다각형과 같은 2차원 기하학 구조를 사용하여 도로와 토지 경계 같은 객체를 나타냅니다. 지리 공간 데이터의 두 번째 유형은 위성, 고소 플랫폼 또는 원격 감지 데이터에서 캡처된 이미지와 같은 래스터 데이터입니다. 이 데이터 유형은 픽셀 매트릭스를 사용하여 형상이 있는 위치를 정의합니다. 래스터 형식은 다양한 데이터를 저장하는 데 사용할 수 있습니다. 지리 공간 데이터의 세 번째 유형은 지오 태깅 위치 데이터입니다. 여기에는 관심 장소(예: 에펠탑), 위치가 태깅된 소셜 미디어 게시물, 위도 및 경도 좌표 또는 다양한 스타일과 형식의 상세 주소가 포함됩니다.

SageMaker 지리 공간 기능을 사용하면 지리 공간 데이터를 사용하여 예측용 ML 모델을 손쉽게 구축, 훈련 및 배포할 수 있습니다. Amazon S3에서 Planet Labs 위성 데이터와 같은 자체 데이터를 가져오거나, Open Data on AWS, Amazon Location Service 및 기타 SageMaker 지리 공간 데이터 소스에서 데이터를 가져올 수 있습니다.

SageMaker 지리 공간 기능을 사용하면 DIY 솔루션보다 빠르게 지리 공간 데이터 기반 예측을 수행할 수 있습니다. SageMaker 지리 공간 기능을 사용하면 기존 고객 데이터 레이크, 오픈 소스 데이터 세트 및 기타 SageMaker 지리 공간 데이터 소스의 지리 공간 데이터에 보다 손쉽게 액세스할 수 있습니다. SageMaker 지리 공간 기능은 효율적인 데이터 준비, 모델 훈련 및 추론을 지원하는 목적별 알고리즘을 제공하므로, 맞춤형 인프라와 데이터 전처리 기능을 구축해야 하는 필요성이 최소화됩니다. 또한 SageMaker Studio에서 맞춤형 시각화와 데이터를 생성하고 조직에서 공유할 수 있습니다. SageMaker 지리 공간 기능에는 농업, 부동산, 보험 및 금융 서비스 분야에서 일반적인 용도로 사용 가능한 사전 훈련된 모델이 포함되어 있습니다.

전체 ML 개발을 위해 SageMaker에서 완전 관리형 Jupyter Notebook을 사용할 수 있습니다. 업계에서 다양한 클라우드용 컴퓨팅 최적화 및 GPU 가속 인스턴스 옵션을 사용하여 컴퓨팅 인스턴스를 스케일 업 및 스케일 다운합니다.

SageMaker Studio 노트북은 한 단계로 빠르게 가동할 수 있는 Jupyter Notebook입니다. 기본 컴퓨팅 리소스가 완전히 탄력적이므로 사용 가능한 리소스를 쉽게 확장하거나 축소할 수 있으며 변경 작업이 백그라운드에서 자동으로 진행되므로 작업에 방해가 되지 않습니다. 또한 SageMaker에서 한 단계로 노트북을 공유할 수 있습니다. 노트북을 다른 사람과 쉽게 공유하여 같은 장소에 저장된 정확하게 동일한 노트북을 제공할 수 있습니다.

SageMaker Studio 노트북을 사용할 때는 IAM Identity Center를 사용하여 사내 보안 인증 정보로 로그인할 수 있습니다. 노트북을 공유하면 해당 노트북으로 캡슐화되는 작업 이미지에서 노트북을 실행하는 데 필요한 종속성이 자동으로 추적되므로 팀 내에서는 물론, 팀 간에도 노트북을 손쉽게 공유할 수 있습니다.

SageMaker Studio IDE의 노트북은 인스턴스 기반 노트북과 차별화된 몇 가지 중요한 기능을 제공합니다. 먼저, 인스턴스를 수동으로 프로비저닝하거나 운영 상태가 될 때까지 기다리지 않고도 빠르게 노트북을 시작할 수 있습니다. 노트북을 읽고 실행하기 위해 UI를 시작하는 시작 시간도 인스턴스 기반 노트북보다 빠릅니다. 또한 언제라도 UI 내의 다양한 인스턴스 유형 모음에서 탄력적으로 인스턴스를 고를 수 있습니다. 노트북에서 새 인스턴스와 포트를 시작하기 위해 AWS 관리 콘솔로 이동할 필요가 없습니다. 사용자마다 특정 인스턴스와 독립되어 있는 격리된 홈 디렉터리가 있습니다. 이 디렉터리는 시작될 때 모든 노트북 서버와 커널에 자동으로 탑재되므로, 인스턴스를 전환해서 노트북을 보고 실행하는 경우에도 노트북과 다른 파일에 액세스할 수 있습니다. SageMaker Studio 노트북은 AWS IAM Identity Center(AWS SSO의 후속 모델)와 통합되며 조직 보안 인증 정보를 통해 노트북에 쉽게 액세스할 수 있습니다. 또한 SageMaker의 목적별 ML 도구 및 기타 AWS 서비스에 통합되어 Amazon EMR에서 Spark를 사용해 페타바이트 규모의 데이터 준비, 모델 교육 및 디버깅부터 모델 배포 및 모니터링, 파이프라인 관리에 이르기까지 전체 ML 개발을 지원합니다.

Studio IDE에서 SageMaker 노트북을 사용하면 분산 훈련, 배치 변환, 호스팅과 같은 모든 SageMaker 기능에 액세스할 수 있습니다. 또한 SageMaker 노트북에서 Amazon S3의 데이터세트, Amazon Redshift, AWS Glue, Amazon EMR 또는 AWS Lake Formation 같은 다른 서비스에도 액세스할 수 있습니다.

ML 실무자는 팀원이 SageMaker Studio 노트북을 함께 읽고 편집할 수 있는 작업 공간을 만들 수 있습니다. 팀원들은 공유 공간을 사용하여 동일한 노트북 파일을 공동 편집하고, 노트북 코드를 동시에 실행하며, 결과를 함께 검토하여 반복 작업을 줄이고 협업을 간소화할 수 있습니다. 공유 공간에서는 BitBucket 및 AWS CodeCommit과 같은 서비스가 기본적으로 지원되기 때문에 여러 버전의 노트북을 손쉽게 관리하고 변경 사항을 지속적으로 비교할 수 있습니다. 실험 및 ML 모델과 같이 노트북 내에서 생성되는 모든 리소스가 자동으로 저장되고, 생성된 특정 작업 공간에 연결되므로 팀 작업을 보다 체계적으로 유지하고 ML 모델 개발을 가속화할 수 있습니다.

Studio IDE에서 SageMaker 노트북을 사용할 때는 컴퓨팅과 스토리지 비용을 모두 지불해야 합니다. 컴퓨팅 인스턴스 유형별 요금은 Amazon SageMaker 요금을 참조하세요. 노트북과 데이터 파일 및 스크립트와 같은 관련 아티팩트는 Amazon Elastic File System(Amazon EFS)에 보존됩니다. 스토리지 요금은 Amazon EFS 요금을 참조하세요. AWS 프리 티어의 일부로 SageMaker Studio에서 노트북을 무료로 시작할 수 있습니다.

아니요. 같은 컴퓨팅 인스턴스에 여러 노트북을 생성하고 실행할 수 있습니다. 개별 항목이 아닌 사용하는 컴퓨팅에 대해서만 지불합니다. 측정 가이드에서 자세한 내용을 읽어보실 수 있습니다.

노트북 외에도 SageMaker Studio에서 터미널과 대화형 쉘을 시작하고 실행할 수 있습니다. 모두 동일한 컴퓨팅 인스턴스에 위치합니다. 각 애플리케이션은 컨테이너나 이미지 내에서 실행됩니다. SageMaker Studio는 데이터 과학 및 기계 학습용으로 특별히 구축되고 사전 구성된 여러 가지 내장 이미지를 제공합니다.

SageMaker Studio 비주얼 인터페이스 및 AWS Management Console을 통해 SageMaker Studio 노트북에서 사용하는 리소스를 모니터링하고 종료할 수 있습니다. 자세한 내용은 설명서를 참조하세요.

예. 컴퓨팅 요금은 계속해서 부과됩니다. 이는 AWS 관리 콘솔에서 Amazon EC2 인스턴스를 시작한 다음 브라우저를 닫는 것과 유사합니다. Amazon EC2 인스턴스가 계속해서 실행되고 있으므로 인스턴스를 명시적으로 종료하지 않는 한 여전히 요금이 부과됩니다.

아니오. 사용자 프로필 추가, 업데이트, 삭제를 포함하여 SageMaker Studio 도메인을 만들거나 구성하는 데는 요금이 부과되지 않습니다.

관리자는 AWS 빌링 콘솔에서 SageMaker Studio를 포함하여 SageMaker에 대한 항목별 요금 목록을 확인할 수 있습니다. SageMaker용 AWS Management Console의 상단 메뉴에서 ‘서비스’를 선택하고, 검색 상자에 ‘billing(결제)’을 입력하고, 드롭다운 메뉴에서 결제를 선택한 다음 왼쪽 패널에서 ‘청구서’를 선택합니다. Details(세부 정보) 섹션에서 SageMaker를 선택하여 리전 목록을 확장하고 항목별 요금으로 드릴다운할 수 있습니다.

SageMaker Studio Lab은 누구나 ML을 배우고 실험할 수 있도록 컴퓨팅, 스토리지(최대 15GB) 및 보안을 모두 무료로 제공하는 무료 기계 학습 개발 환경입니다. 시작하려면 유효한 이메일 ID만 있으면 됩니다. 인프라를 구성하거나 ID 및 액세스를 관리하거나 AWS 계정에 가입할 필요가 없습니다. SageMaker Studio Lab은 GitHub 통합을 통해 모델 구축을 가속화하고 가장 인기 있는 ML 도구, 프레임워크 및 라이브러리로 사전 구성되어 제공되므로 즉시 시작할 수 있습니다. SageMaker Studio Lab은 작업을 자동으로 저장하므로 세션 사이에 다시 시작할 필요가 없습니다. 노트북을 닫았다가 나중에 다시 열고 작업하는 것처럼 쉽습니다.

SageMaker Studio Lab은 설정 없이 기계 학습 수업 및 실험에 사용할 수 있는 무료 노트북 개발 환경이 필요한 학생, 연구원 및 데이터 사이언티스트를 위한 것입니다. SageMaker Studio Lab은 프로덕션 환경이 필요하지는 않지만 기계 학습 기술 향상을 위해 SageMaker 기능의 일부를 원하는 사용자에게 이상적입니다. SageMaker 세션은 자동으로 저장되므로 각 사용자 세션에서 중단한 부분부터 다시 시작할 수 있습니다.

SageMaker Studio Lab은 AWS에 구축된 서비스로, Amazon SageMaker Studio와 동일한 핵심 서비스(예: Amazon S3 및 Amazon EC2)를 다수 사용합니다. 다른 서비스와 달리 AWS 계정이 필요하지 않습니다. 대신 이메일 주소를 사용하여 SageMaker Studio Lab 전용 계정을 생성하게 됩니다. 이 전용 계정으로 ML 노트북을 실행할 수 있는 제한된 환경(15GB 스토리지 및 12시간 세션)에 액세스할 수 있습니다.

SageMaker Canvas는 Amazon S3 및 Amazon Redshift를 포함하여 계정에서 액세스할 수 있는 AWS 데이터 소스를 원활하게 검색하는 데 도움이 됩니다. SageMaker Canvas의 시각적 드래그 앤 드롭 인터페이스를 사용하여 데이터를 찾아보고 가져올 수 있습니다. 또한 로컬 디스크에서 파일을 끌어서 놓을 수 있으며 사전 구축된 커넥터를 사용하여 Snowflake와 같은 서드 파티 소스에서 데이터를 가져올 수 있습니다.

소스를 연결하고 데이터 세트를 선택하고 데이터를 준비한 후 예측할 대상 열을 선택하여 모델 생성 작업을 시작할 수 있습니다. SageMaker Canvas는 자동으로 문제 유형을 식별하고, 새로운 관련 기능을 생성하고, 선형 회귀, 로지스틱 회귀, 딥 러닝, 시계열 예측, 그라데이션 부스팅 등의 기계 학습 기술을 사용하여 포괄적인 예측 모델 세트를 테스트하며, 데이터 세트를 기반으로 정확한 예측을 수행하는 모델을 구축합니다.

SageMaker HyperPod는 파운데이션 모델(FM)의 훈련을 가속화하기 위해 특별히 제작되었습니다. 대규모 분산 훈련에 최적화되고 복원력이 뛰어난 인프라를 제공하므로 수천 개의 액셀러레이터로 더 빠르게 훈련할 수 있습니다. 결함을 자동으로 감지, 진단, 복구하므로 중단 없이 한 번에 몇 달 동안 FM을 훈련할 수 있습니다. SageMaker HyperPod는 SageMaker 분산 훈련 라이브러리로 사전 구성되어 있기 때문에 모델 훈련 데이터를 작은 청크로 분산하여 성능을 효율적으로 개선할 수 있고 여러 액셀러레이터에서 병렬로 처리할 수 있습니다.

시간이 오래 걸리고 규모가 큰 훈련 워크로드에 GPU 또는 AWS 액셀러레이터와 같이 대량의 컴퓨팅 인스턴스가 필요한 경우 SageMaker HyperPod를 사용하여 보다 탄력적인 환경을 구축하면 훈련 시간을 줄일 수 있습니다.

예. SageMaker는 AWS GPU 인스턴스에 걸쳐 딥 러닝 모델과 대규모 훈련 세트를 자동으로 분산할 수 있습니다. 이때 소요 시간은 이러한 분산 전략을 수동으로 빌드하고 최적화하는 데 걸리는 시간에 비해 몇 분의 일에 불과합니다. SageMaker에서 적용하는 2가지 분산 훈련 기술로는 데이터 병렬 처리와 모델 병렬 처리가 있습니다. 데이터 병렬 처리는 여러 GPU 인스턴스에서 데이터를 균등하게 나누어 훈련 속도를 개선하기 위해 적용됩니다. 이 경우 각 인스턴스를 동시에 훈련할 수 있습니다. 모델 병렬 처리는 모델이 너무 커서 단일 GPU에 저장할 수 없는 경우에 유용하며, 여러 GPU에 분산하기 전에 모델을 더 작은 부분으로 파티셔닝해야 합니다. PyTorch 및 TensorFlow 훈련 스크립트에서 추가 코드 몇 줄만 작성하면, SageMaker는 데이터 병렬 처리 또는 모델 병렬 처리를 자동으로 적용하여 모델을 더 빠르게 개발하고 배포할 수 있습니다. SageMaker는 각 GPU 계산의 균형을 맞추기 위해 그래프 분할 알고리즘을 사용하여 모델을 분할하는 최상의 접근 방법을 결정하는 동시에 GPU 인스턴스 간의 통신을 최소화합니다. 또한 SageMaker는 선형에 가까운 확장 효율성을 달성하기 위해 AWS 컴퓨팅과 네트워크를 충분히 활용하는 알고리즘을 통해 분산 훈련 작업을 최적화하므로 수동 오픈 소스 구현보다 더욱 빠르게 훈련을 완료할 수 있습니다.

SageMaker Experiments를 사용하면 기계 학습 모델에 대한 반복을 구성하고 추적할 수 있습니다. SageMaker Experiments는 입력 파라미터, 구성 및 결과를 자동으로 캡처하고 이를 ‘실험’으로 저장하여 반복을 관리하도록 돕습니다. Amazon SageMaker 실험을 생성하여 선호하는 개발 환경에서 코드 몇 줄로 ML 워크플로를 추적할 수 있습니다. SageMaker Python SDK를 사용하여 SageMaker Experiments를 SageMaker 훈련 스크립트에 통합할 수도 있습니다.

SageMaker Debugger는 훈련 도중 혼동 지표 및 학습 경사와 같은 실시간 지표를 자동으로 캡처하여 모델 정확도를 개선합니다. SageMaker Debugger의 지표를 SageMaker Studio에서 시각화하면 지표를 더 쉽게 이해할 수 있습니다. SageMaker Debugger에서 일반적인 훈련 문제가 감지될 때 경고 및 해결 방법을 생성할 수도 있습니다. 또한 SageMaker Debugger는 CPU, GPU, 네트워크 및 메모리와 같은 시스템 리소스를 실시간으로 자동으로 모니터링하고 프로파일링하며, 이러한 리소스의 재할당에 대한 권장 사항을 제공합니다. 이 기능은 훈련 중에 리소스를 효율적으로 사용하고 비용과 리소스를 절감하는 데 도움이 됩니다.

SageMaker를 통해 관리형 스팟 훈련을 수행할 경우 Amazon EC2 스팟 인스턴스를 사용하여 기계 학습 모델을 훈련할 수 있으며 모델 훈련 비용을 최대 90%나 줄일 수 있습니다.

훈련 작업을 제출할 때 관리형 스팟 훈련 옵션을 사용하도록 설정하고 스팟 용량 지연 시간도 지정합니다. 그러면 SageMaker가 Amazon EC2 스팟 인스턴스를 사용하여 작업을 실행하고 스팟 용량을 관리합니다. 작업이 실행 중이거나 용량 대기 중일 때 모두 훈련 작업 상태를 완전히 파악할 수 있습니다.

관리형 스팟 훈련은 훈련 실행에 유연성이 있고 훈련 작업 비용을 최소화하려는 경우에 이상적입니다. 관리형 스팟 훈련을 사용할 경우 기계 학습 모델에 대한 훈련 비용을 최대 90%까지 절감할 수 있습니다.

관리형 스팟 훈련은 훈련에 Amazon EC2 스팟 인스턴스를 사용하며 스팟 인스턴스는 AWS에 용량이 필요한 경우 대체될 수 있습니다. 따라서 관리형 스팟 훈련 작업은 사용 가능한 용량이 생길 때마다 조금씩 실행될 수 있습니다. SageMaker는 최신 모델 체크포인트를 사용하여 훈련 작업을 재개할 수 있으므로 중단이 발생한 경우 훈련 작업을 처음부터 다시 시작할 필요가 없습니다. SageMaker의 기본 제공 프레임워크 및 기본 제공 컴퓨터 비전 알고리즘을 통해 정기적 체크포인트를 사용할 수 있으며 사용자 지정 모델에서 체크포인트를 사용할 수도 있습니다.

장기적인 훈련 작업을 위한 일반적인 모범 사례로서 주기적으로 체크포인트 점검을 수행할 것을 권장합니다. 이렇게 하면 용량이 대체된 경우 관리형 스팟 훈련이 다시 시작되는 것을 방지할 수 있습니다. 체크포인트를 사용하도록 설정하면 SageMaker가 마지막 체크포인트에서 관리형 스팟 훈련 작업을 재개합니다.

관리형 스팟 훈련 작업이 완료되면 AWS 관리 콘솔에서 절감액을 확인할 수 있고 훈련 작업 기간과 청구 대상 기간 사이의 백분율 차이로도 비용 절감액을 계산할 수 있습니다. 관리형 스팟 훈련 작업의 중단 횟수와 관계없이 데이터를 다운로드한 기간에 대해서 한 번만 비용이 청구됩니다.

관리형 스팟 훈련은 SageMaker에서 지원되는 모든 인스턴스에서 사용할 수 있습니다.

관리형 스팟 훈련은 현재 SageMaker가 제공되는 모든 리전에서 지원됩니다.

SageMaker에서 모델 훈련에 사용할 수 있는 데이터 세트의 크기 제한은 없습니다.

SageMaker에는 선형 회귀, 로지스틱 회귀, k-평균 클러스터링, 주성분 분석, 인수 분해 머신, 신경 주제 모델링, LDA(Latent Dirichlet Allocation), 그래디언트 부스티드 트리, sequence2sequence, 시계열 예측, word2vec 및 이미지 분류에 대한 알고리즘이 내장되어 있습니다. SageMaker는 최적화된 Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn 및 Deep Graph Library 컨테이너도 제공합니다. 그뿐 아니라 SageMaker는 문서화된 사양을 준수하는 도커 이미지를 통해 제공된 사용자 지정 훈련 알고리즘을 지원합니다.

대부분 기계 학습 알고리즘에서는 기본 알고리즘이 작동하는 방식을 제어하는 다양한 파라미터를 공개합니다. 이러한 파라미터는 일반적으로 하이퍼파라미터라고 부르며 그 값은 훈련된 모델의 품질에 영향을 미칩니다. 자동 모델 튜닝은 알고리즘에서 최적의 모델을 산출할 수 있는 하이퍼파라미터 세트를 찾는 프로세스입니다.

과학적으로 실현 가능한 한, 내장된 SageMaker 알고리즘, 딥 신경망 또는 도커 이미지 형식으로 SageMaker에 가져오는 임의 알고리즘을 비롯하여 원하는 알고리즘에 대해 SageMaker에서 자동 모델 튜닝을 실행할 수 있습니다.

현재는 지원되지 않습니다. 최상의 모델 튜닝 성능과 경험은 SageMaker 내에서 제공됩니다.

현재 튜닝 하이퍼파라미터에 대한 알고리즘은 베이지안 최적화를 사용자 지정하여 구현한 것입니다. 튜닝 프로세스 전반에 걸쳐 고객이 지정한 목표 지표를 최적화하는 것을 목표로 합니다. 완료된 훈련 작업의 객체 지표를 확인하고 지식을 사용하여 다른 훈련 작업을 위한 하이퍼파라미터 조합을 추론합니다.

아니요. 특정 하이퍼파라미터가 모델 성능에 미치는 영향은 다양한 요소에 따라 다르며 하나의 하이퍼파라미터가 다른 하이퍼파라미터보다 중요하므로 튜닝을 해야 한다고 단정적으로 말하기는 어렵습니다. SageMaker에 내장된 알고리즘의 경우 AWS에서 하이퍼파라미터의 튜닝 가능 여부를 알려드립니다.

하이퍼파라미터 튜닝 작업에 걸리는 시간은 데이터 크기, 기본 알고리즘, 하이퍼파라미터의 값 등 여러 요소에 따라 달라집니다. 또한 고객은 동시 훈련 작업 수와 총 훈련 작업 수를 선택할 수 있습니다. 이 모든 선택이 하이퍼파라미터 튜닝 작업에 걸리는 시간에 영향을 미칩니다.

현재는 지원되지 않습니다. 현재는 단일 목표 지표를 지정하여 알고리즘 코드를 최적화하거나 변경하여 2개 이상의 유용한 지표 간 가중 평균인 새로운 지표를 생성해야 하며 튜닝 프로세스를 해당 목표 지표에 맞게 최적화해야 합니다.

하이퍼파라미터 튜닝 작업 자체는 무료입니다. 모델 훈련 요금을 기준으로 하이퍼파라미터 튜닝 작업에서 시작하는 훈련 작업에 대한 비용이 부과됩니다.

SageMaker Autopilot은 분류 및 회귀 사용 사례에 중점을 두면서 기능 사전 처리, 알고리즘 선택, 하이퍼파라미터 튜닝 같은 일반적인 기계 학습 워크플로의 모든 것을 자동화합니다. 반면 자동 모델 튜닝은 모델의 기반이 기본 제공 알고리즘이든, 딥 러닝 프레임워크든, 사용자 지정 컨테이너든 관계없이 모든 모델을 튜닝하도록 설계되어 있습니다. 유연성을 높이려면 특정 알고리즘을 직접 선택하고, 튜닝할 하이퍼파라미터와 해당하는 검색 범위를 결정해야 합니다.

강화 학습은 에이전트가 자신의 작업과 경험의 피드백을 사용하여 시행착오를 통해 대화형 환경에서 학습할 수 있는 기계 학습 기법입니다.

예, SageMaker에서 지도 학습 및 비지도 학습에 추가하여 강화 학습 모델을 훈련할 수 있습니다.

지도 학습과 강화 학습은 입력 및 출력 간의 매핑을 사용하지만, 태스크를 수행하기 위한 올바른 작업 세트가 에이전트에게 피드백으로 제공되는 지도 학습과는 달리, 강화 학습은 일련의 작업을 통해 장기적인 목표를 실현할 수 있도록 보상 신호를 최적화하는 지연된 피드백을 사용합니다.

지도 학습 기법의 목적은 훈련 데이터의 패턴을 기반으로 올바른 답변을 찾는 것인 반면, 비지도 학습 기법의 목적은 데이터 포인트 간의 유사점과 차이점을 찾는 것입니다. 반대로, 강화 학습(RL) 기법의 목적은 결과를 달성하는 방법이 확실하지 않더라도 원하는 결과를 달성하는 방법을 학습하는 것입니다. 결과적으로 RL은 로봇 공학, 자율 주행 차량, HVAC, 산업 제어 등과 같이 에이전트가 자율적 결정을 수행할 수 있는 지능형 애플리케이션을 지원하는 데 더 적합합니다.

Amazon SageMaker RL은 RL 모델을 훈련할 수 있는 다양한 환경을 지원합니다. AWS RoboMaker와 같은 AWS 서비스, Open AI Gym 인터페이스를 사용하여 개발된 오픈 소스 환경 또는 사용자 지정 환경, MATLAB 및 SimuLink와 같은 상업용 시뮬레이션 환경을 사용할 수 있습니다.

아니요. SageMaker RL에는 DQN, PPO, A3C 등과 같은 RL 에이전트 알고리즘의 구현을 제공하는 Coach 및 Ray RLLib와 같은 RL 도구 키트가 포함되어 있습니다.

예. 고유의 RL 라이브러리 및 알고리즘 구현을 도커 컨테이너로 가져온 다음 SageMaker RL에서 실행할 수 있습니다.

예. 다른 유형의 클러스터를 선택할 수도 있습니다. 이 경우 한 GPU 인스턴스에서 훈련을 실행하고 여러 CPU 인스턴스에서 시뮬레이션을 실행할 수 있습니다.

모델을 구축 및 훈련한 후 SageMaker에서는 3가지 옵션으로 모델을 배포하고 예측을 시작할 수 있습니다. 실시간 추론은 밀리초 단위의 지연 시간 요구 사항, 최대 6MB의 페이로드 크기, 최대 60초의 처리 시간을 요구하는 워크로드에 적합합니다. 배치 변환은 사전에 제공되는 대규모 데이터 배치에 대한 오프라인 예측에 이상적입니다. Asynchronous Inference는 1초 미만의 대기 시간 요구 사항, 최대 1GB의 페이로드 크기, 최대 15분의 처리 시간이 필요하지 않은 워크로드를 위해 설계되었습니다.

SageMaker 비동기 추론은 수신 요청을 대기열에 넣고 비동기식으로 처리합니다. 이 옵션은 페이로드 크기가 크고 처리 시간이 길어서 도착 즉시 처리되어야 하는 요청에 이상적입니다. 선택적으로 자동 크기 조정 설정을 구성하여 요청을 바쁘게 처리하지 않을 때 인스턴스 수를 0개로 축소하여 비용을 절감할 수 있습니다.

SageMaker 비동기 추론 엔드포인트 인스턴스 수를 0개로 스케일 다운하면 요청을 능동적으로 처리하지 않을 때 비용을 절감할 수 있습니다. 'ApproximateBacklogPerInstance' 사용자 지정 지표에서 크기를 조정할 크기 조정 정책을 정의하고 'MinCapacity' 값을 0으로 설정해야 합니다. 단계별 지침은 개발자 안내서에서 비동기 엔드포인트 자동 크기 조정 섹션을 참조하세요. 

SageMaker 서버리스 추론은 기계 학습 모델을 쉽게 배포하고 확장할 수 있도록 특별히 제작된 서버리스 모델 제공 옵션입니다. SageMaker 서버리스 추론 엔드포인트는 컴퓨팅 리소스를 자동으로 시작하고 트래픽에 따라 리소스를 확장 및 축소하므로 인스턴스 유형을 선택하거나 프로비저닝된 용량을 실행하거나 확장을 관리할 필요가 없습니다. 서버리스 추론 엔드포인트에 대한 메모리 요구 사항을 지정할 수도 있습니다. 유휴 기간이 아닌 추론 코드를 실행하는 기간과 처리된 데이터 양에 대해서만 비용을 지불합니다.

SageMaker 서버리스 추론은 용량을 미리 프로비저닝하고 조정 정책을 관리할 필요가 없기 때문에 개발자 경험이 단순화됩니다. SageMaker 서버리스 추론은 사용 패턴에 따라 몇 초 안에 수십 개에서 수천 개의 추론으로 즉시 확장할 수 있으므로 트래픽이 간헐적이거나 예측할 수 없는 기계 학습 애플리케이션에 이상적입니다. 예를 들어 급여 처리 회사의 챗봇 서비스는 월말에 문의가 증가하지만 나머지 월에는 트래픽이 간헐적입니다. 이러한 상황에서 전체 달에 대한 인스턴스를 프로비저닝하는 것은 유휴 기간의 비용을 지불하게 되므로 비용 효율적이지 않습니다. SageMaker Serverless Inference는 트래픽을 미리 예측하거나 확장 정책을 관리할 필요 없이 즉시 사용 가능한 자동 확장을 제공하여 이러한 유형의 사용 사례를 해결하는 데 도움이 됩니다. 또한 추론 코드를 실행하는 컴퓨팅 시간(밀리초 단위로 청구)과 데이터 처리에 대해서만 비용을 지불하면 트래픽이 간헐적으로 발생하는 워크로드에 대해 비용 효율적인 옵션이 됩니다.

프로비저닝된 동시성을 사용하면 지정된 수의 동시 요청에 대해 엔드포인트를 웜 상태로 유지하여 예측 가능한 성능과 높은 확장성으로 서버리스 엔드포인트에 모델을 배포할 수 있습니다.

온디맨드 서버리스 엔드포인트의 경우 엔드포인트가 한동안 트래픽을 수신하지 못하다가 갑자기 새 요청을 받게 되면 컴퓨팅 리소스를 가동하여 요청을 처리하는 데 시간이 걸릴 수 있습니다. 이를 콜드 스타트라고 합니다. 동시 요청이 현재 동시 요청 사용량을 초과하는 경우에도 콜드 스타트가 발생할 수 있습니다. 콜드 스타트 시간은 모델 크기, 모델을 다운로드하는 데 걸리는 시간, 컨테이너의 시작 시간에 따라 달라집니다.

지연 시간 프로파일의 가변성을 줄이려면 서버리스 엔드포인트에 프로비저닝된 동시성을 선택적으로 사용할 수 있습니다. 프로비저닝된 동시성을 사용하면 서버리스 엔드포인트가 항상 준비되어 있기 때문에 콜드 스타트 없이 트래픽 급증을 즉시 처리할 수 있습니다.

온디맨드 Serverless Inference와 마찬가지로 프로비저닝된 동시성을 사용하는 경우 추론 요청을 처리하는 데 사용된 컴퓨팅 파워에 대한 요금이 부과됩니다. 요금은 밀리초 단위로 처리된 데이터 양에 따라 부과됩니다. 또한 프로비저닝된 동시성 사용 요금은 구성된 메모리, 프로비저닝된 기간 및 사용된 동시성 양에 따라서도 부과됩니다. 자세한 내용은 Amazon SageMaker 요금을 참조하세요.

SageMaker는 프로덕션 릴리스 전에 현재 배포된 모델을 기준으로 새로운 ML 모델의 성능을 테스트하여 새 모델을 평가하는 섀도우 테스트를 실행하는 데 도움이 됩니다. SageMaker는 새 모델을 현재 프로덕션 모델과 함께 섀도우 모드에 배포하고 프로덕션 트래픽에서 사용자가 지정한 부분을 새 모델에 미러링합니다. 필요한 경우 오프라인 비교를 위해 모델 추론을 로깅합니다. 지연 시간 및 오류율과 같은 주요 성능 지표를 프로덕션 모델과 섀도우 모델 간에 비교하여 새 모델을 프로덕션으로 승격할지 여부를 결정하는 데 도움이 되는 라이브 대시보드도 제공합니다.

SageMaker를 사용하면 섀도우 변형을 설정하고 모니터링하는 프로세스가 간소화되므로 라이브 프로덕션 트래픽에서 새 ML 모델의 성능을 평가할 수 있습니다. SageMaker를 사용하면 섀도우 테스트용으로 인프라를 오케스트레이션할 필요가 없습니다. 섀도우 변형으로 미러링되는 트래픽의 비율 및 테스트 기간과 같은 테스트 파라미터를 제어할 수 있기 때문입니다. 따라서 소규모로 시작한 후 모델 성능에 대해 확신이 생기면 추론 요청을 새 모델로 늘려갈 수 있습니다. SageMaker는 주요 지표의 성능 차이를 표시하는 라이브 대시보드를 생성합니다. 따라서 모델 성능을 손쉽게 비교하여 새 모델과 프로덕션 모델 간의 차이를 평가할 수 있습니다.

SageMaker Inference Recommender는 성능 벤치마킹을 자동화하고 SageMaker 기계 학습 인스턴스에서 모델 성능을 조정하여 프로덕션에서 ML 모델을 가져오는 데 필요한 시간을 줄여줍니다. 이제 SageMaker Inference Recommender를 사용하여 엔드포인트에 최상의 성능을 제공하고 비용을 최소화하는 모델을 배포할 수 있습니다. 몇 분 만에 SageMaker Inference Recommender를 시작하면서 인스턴스 유형을 선택하고 몇 시간 안에 최적의 엔드포인트 구성에 대한 권장 사항을 얻을 수 있으므로 몇 주에 걸친 수동 테스트 및 조정 시간이 필요 없습니다. SageMaker Inference Recommender를 사용하면 로드 테스트 중에 사용된 SageMaker 기계 학습 인스턴스에 대해서만 비용을 지불하고 추가 요금은 없습니다.

성능을 개선하고 비용을 줄이기 위해 올바른 엔드포인트 구성에 대한 권장 사항이 필요한 경우 SageMaker Inference Recommender를 사용해야 합니다. 이전에는 모델을 배포하려는 데이터 사이언티스트가 올바른 엔드포인트 구성을 선택하기 위해 수동 벤치마크를 실행해야 했습니다. 또한 먼저 모델 및 샘플 페이로드의 리소스 요구 사항을 기반으로 사용 가능한 70개 이상의 인스턴스 유형 중에서 올바른 기계 학습 인스턴스 유형을 선택한 다음 다양한 하드웨어를 설명하도록 모델을 최적화해야 했습니다. 그런 다음 대기 시간 및 처리량 요구 사항이 충족되고 비용이 저렴한지 검증하기 위해 광범위한 로드 테스트를 수행해야 했습니다. SageMaker Inference Recommender는 다음을 용이하게 함으로써 이러한 복잡성을 제거합니다. 1) 인스턴스 권장 사항으로 몇 분 안에 시작합니다. 2) 인스턴스 유형 전반에 걸쳐 로드 테스트를 수행하여 몇 시간 내에 엔드포인트 구성에 대한 권장 사항을 얻습니다. 3) 컨테이너 및 모델 서버 파라미터를 자동으로 조정하고 주어진 인스턴스 유형에 대한 모델 최적화를 수행합니다.

데이터 사이언티스트는 SageMaker Studio, Python용 AWS SDK(Boto3) 또는 AWS CLI에서 SageMaker Inference Recommender에 액세스할 수 있습니다. 등록된 모델 버전에 대한 SageMaker 모델 레지스트리의 SageMaker Studio 내에서 배포 권장 사항을 얻을 수 있습니다. 데이터 사이언티스트는 SageMaker Studio, AWS SDK 또는 AWS CLI를 통해 권장 사항을 검색하고 필터링할 수 있습니다.

아니요. 현재 엔드포인트당 단일 모델만 지원합니다.

현재는 실시간 엔드포인트만 지원합니다.

AWS 중국 리전을 제외하고 Amazon SageMaker에서 지원하는 모든 리전이 지원됩니다.

예. 모든 유형의 컨테이너를 지원합니다. AWS Inferentia 칩을 기반으로 하는 Amazon EC2 Inf1에는 Neuron 컴파일러 또는 Amazon SageMaker Neo를 사용하는 컴파일된 모델 아티팩트가 필요합니다. Inferentia 대상 및 연결된 컨테이너 이미지 URI에 대한 컴파일된 모델이 있으면 SageMaker Inference Recommender를 사용하여 다양한 Inferentia 인스턴스 유형을 벤치마킹할 수 있습니다.

SageMaker Model Monitor를 사용하면 개념 드리프트를 탐지하고 해결할 수 있습니다. SageMaker Model Monitor는 배포된 모델에서 개념 드리프트를 자동으로 감지하고 문제 원인을 파악하는 데 도움이 되는 자세한 알림을 제공합니다. SageMaker에서 훈련된 모든 모델은 SageMaker Studio에서 수집하고 볼 수 있는 주요 지표를 자동으로 생성합니다. SageMaker Studio 내부에서 수집할 데이터, 확인하는 방법, 알림 수신 시기를 구성할 수 있습니다.

아니요. SageMaker가 사용자 대신 컴퓨팅 인프라를 운영하므로, 상태 확인을 수행하고 보안 패치를 적용하며 그 외 주기적인 유지 관리를 수행합니다. 사용자는 자체 호스팅 환경에 사용자 지정 추론 코드로 교육한 모델 아티팩트를 배포할 수 있습니다.

SageMaker 호스팅은 애플리케이션 Auto Scaling을 사용해 애플리케이션에 필요한 성능에 맞춰 자동으로 조정됩니다. 또한 엔드포인트 구성을 수정하여 가동 중단 없이 인스턴스 수와 유형을 수동으로 변경할 수 있습니다.

SageMaker는 성능 지표를 Amazon CloudWatch 지표로 내보내므로, 지표를 추적하고, 경보를 설정하고, 프로덕션 트래픽의 변경 사항에 자동으로 대응할 수 있습니다. 또한 SageMaker는 사용자가 프로덕션 환경을 모니터링하고 문제를 해결할 수 있도록 Amazon CloudWatch Logs에 로그를 기록합니다.

SageMaker는 추론 도커 이미지의 문서화된 사양을 준수하는 모든 모델을 호스팅할 수 있습니다. SageMaker 모델 아티팩트 및 추론 코드에서 생성된 모델이 이에 포함됩니다.

SageMaker는 많은 수의 초당 트랜잭션으로 확장할 수 있도록 설계되었습니다. 정확한 수는 배포된 모델과 모델이 배포된 인스턴스의 수 및 유형에 따라 달라집니다.

완전관리형 서비스인 Amazon SageMaker는 인스턴스, 소프트웨어 버전 호환성, 패치 버전 설정 및 관리를 모두 처리합니다. 또한 알림을 모니터링하고 수신하는 데 사용할 수 있는 엔드포인트에 대한 기본 제공 지표 및 로그도 제공합니다. SageMaker 도구 및 안내형 워크플로를 사용하여 전체 ML 모델 패키징 및 배포 프로세스가 간소화되므로 엔드포인트를 손쉽게 최적화하여 원하는 성능을 달성하고 비용을 절감할 수 있습니다. SageMaker Studio에서 또는 새로운 PySDK를 사용하여 클릭 몇 번으로 파운데이션 모델을 비롯한 ML 모델을 쉽게 배포할 수 있습니다.

배치 변환은 대규모 또는 소규모 배치 데이터에 대한 예측을 실행할 수 있게 해 줍니다. 이제 데이터 집합을 여러 데이터 청크로 분할하고 실시간 엔드포인트를 관리할 필요가 없습니다. 간단한 API를 통해 대량 데이터 레코드에 대한 예측을 요청하고 데이터를 쉽고 빠르게 변환할 수 있습니다.

SageMaker는 다음과 같은 엔드포인트 옵션을 지원합니다. 단일 모델 엔드포인트 - 짧은 지연 시간과 높은 처리량을 위해 전용 인스턴스 또는 서버리스에서 호스팅되는 컨테이너의 단일 모델. 다중 모델 엔드포인트 - 공유 인프라를 사용하여 여러 모델을 호스팅함으로써 비용 효율성을 높이고 활용도를 극대화합니다. 각 모델에서 사용할 수 있는 컴퓨팅 및 메모리 양을 제어하여 각 모델이 효율적으로 실행하는 데 필요한 만큼의 리소스에만 액세스하도록 할 수 있습니다. 직렬 추론 파이프라인 - 여러 컨테이너가 전용 인스턴스를 공유하면서 순차적으로 실행됩니다. 추론 파이프라인을 사용하여 전처리, 예측 및 후처리 데이터 과학 작업을 결합할 수 있습니다.

규모 조정 정책을 사용하여 추론 요청량의 변동에 따라 기반 컴퓨팅 리소스의 규모를 자동으로 조정할 수 있습니다. 각 ML 모델의 규모 조정 정책을 개별적으로 제어하여 모델 사용량의 변화에 쉽게 대응하는 동시에, 인프라 비용을 최적화할 수 있습니다.

SageMaker Edge Manager를 사용하면 스마트 카메라, 로봇, 개인용 컴퓨터 및 모바일 디바이스 같은 엣지 디바이스 플릿에서 기계 학습 모델을 손쉽게 최적화, 보안, 모니터링 및 유지 관리할 수 있습니다. SageMaker Edge Manager는 기계 학습 개발 시 다양한 엣지 디바이스에서 대규모로 ML 모델을 가동하는 데 도움이 됩니다.

SageMaker Edge Manager를 시작하려면 클라우드에서 훈련된 ML 모델을 컴파일하고 패키지로 작성한 후 디바이스를 등록하고 SageMaker Edge Manager SDK에서 디바이스를 준비해야 합니다. 배포를 위해 모델을 준비하도록 SageMaker Edge Manager는 SageMaker Neo를 사용하여 대상 엣지 하드웨어에 맞게 모델을 컴파일합니다. 모델이 컴파일되면 SageMaker Edge Manager는 빠르게 배포할 수 있도록 AWS 생성 키로 모델에 서명한 후 런타임 및 필수 자격 증명을 통해 모델을 패키지로 작성합니다. 디바이스 측에서는, SageMaker Edge Manager에 디바이스를 등록하고, SageMaker Edge Manager SDK를 다운로드한 후 지침에 따라 SageMaker Edge Manager 에이전트를 디바이스에 설치합니다. 자습서 노트북에서는 SageMaker Edge Manager에서 모델을 준비하고 엣지 디바이스에 모델을 연결하는 방법에 대한 단계별 예제를 제공합니다.

SageMaker Edge Manager는 Linux 및 Windows 운영 체제에서 일반적인 CPU(ARM, x86) 및 GPU(ARM, Nvidia) 기반 디바이스를 지원합니다. 앞으로 SageMaker Edge Manager는 SageMaker Neo에서도 지원하는 더 많은 임베디드 프로세서와 모바일 플랫폼을 지원하도록 확장할 계획입니다.

아니요. 오픈 소스 또는 모델 공급 업체의 사전 훈련된 모델을 사용하거나 그 외 위치에서 모델을 훈련할 수 있습니다.

예. SageMaker Neo는 엣지 디바이스에서 패키지로 작성하고 배포할 수 있도록 모델을 실행 가능 항목으로 변환하고 컴파일합니다. 모델 패키지를 배포하면 SageMaker Edge Manager 에이전트가 모델 패키지를 압축 해제하고 디바이스에서 모델을 실행합니다.

SageMaker Edge Manager는 지정된 Amazon S3 버킷에 모델 패키지를 저장합니다. AWS IoT Greengrass에서 제공하는 무선 업데이트(OTA) 배포 기능을 사용하거나 원하는 다른 배포 메커니즘을 통해 S3 버킷에서 디바이스로 모델 패키지를 배포할 수 있습니다.

Neo dlr은 SageMaker Neo 서비스에서 컴파일된 모델만 실행하는 오픈 소스 런타임입니다. 오픈 소스 dlr과 달리, SageMaker Edge Manager SDK는 추가 보안, 모델 관리 및 모델 지원 특성을 포함하는 엔터프라이즈급 디바이스 기반 에이전트를 포함합니다. SageMaker Edge Manager SDK는 대규모 프로덕션 배포에 적합합니다.

SageMaker Edge Manager와 AWS IoT Greengrass는 IoT 솔루션에서 함께 사용할 수 있습니다. 기계 학습 모델을 SageMaker Edge Manager에서 패키지로 작성한 후에 AWS IoT Greengrass의 OTA 업데이트 기능을 사용하여 디바이스에 모델 패키지를 배포할 수 있습니다. AWS IoT Greengrass를 사용하면 원격으로 IoT 디바이스를 모니터링하는 동시에, SageMaker Edge Manager가 디바이스에서 기계 학습 모델을 모니터링하고 유지 관리할 수 있습니다.

AWS는 엣지 디바이스에서 모델을 실행하기 위한 가장 포괄적이고 심층적인 기능을 제공합니다. 그리고 컴퓨터 비전, 음성 인식 및 예측 유지 관리를 포함하여 다양한 사용 사례를 지원하는 서비스도 갖추었습니다.

카메라 및 어플라이언스와 같은 엣지 디바이스에서 컴퓨터 비전을 실행하려는 회사는 AWS Panorama를 사용할 수 있습니다. AWS Panorama는 엣지 디바이스에서 컴퓨터 비전 애플리케이션을 쉽게 배포할 수 있도록 지원합니다. 클라우드 콘솔에 로그인하고 Amazon S3 또는 SageMaker에서 사용하려는 모델을 지정한 후 Python 스크립트로 비즈니스 로직을 작성하는 방법으로 간편하게 AWS Panorama를 시작할 수 있습니다. AWS Panorama는 대상 디바이스에 대해 모델을 컴파일하고 애플리케이션 패키지를 생성하므로, 몇 번의 클릭으로 디바이스에 해당 패키지를 배포할 수 있습니다. 사용자 지정 애플리케이션을 구축하려는 독립 소프트웨어 개발 판매 회사(ISV)도 AWS Panorama SDK를 사용할 수 있습니다. 디바이스 제조업체는 Device SDK를 사용하여 AWS Panorama에 대해 디바이스를 인증할 수 있습니다.

고유한 모델을 구축하고 모델 특성에 대한 세분화된 제어 기능을 원하는 고객이라면 SageMaker Edge Manager를 사용할 수 있습니다. SageMaker Edge Manager는 자연어 처리, 사기 탐지 및 예측 유지 관리와 같은 모든 유형의 사용 사례에 사용하는 스마트 카메라, 스마트 스피커, 로봇과 같은 여러 엣지 디바이스 플릿에서 기계 학습 모델을 준비, 실행, 모니터링 및 업데이트하는 관리형 서비스입니다. SageMaker Edge Manager는 서로 다른 모델 특성 및 드리프트에 대한 모니터 모델 엔지니어링을 포함하여 모델에 대한 제어를 원하는 기계 학습 엣지 개발자에게 적합합니다. 모든 ML 엣지 개발자는 SageMaker 콘솔 및 SageMaker API를 통해 SageMaker Edge Manager를 사용할 수 있습니다. SageMaker Edge Manager는 클라우드의 모델을 엣지 디바이스로 구축, 훈련 및 배포하는 SageMaker의 기능을 활용합니다.

SageMaker Edge Manager는 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 유럽(아일랜드), 유럽(프랑크푸르트), 아시아 태평양(도쿄)의 6개 리전에서 사용할 수 있습니다. 자세한 내용은 AWS 리전 서비스 목록을 참조하세요.

SageMaker Neo를 사용하면 기계 학습 모델을 한 번 훈련하여 클라우드와 엣지의 모든 위치에서 실행할 수 있습니다. SageMaker Neo는 여러 하드웨어 플랫폼에 배포하는 데 사용할 수 있는 인기 DL 프레임워크로 구축된 모델을 자동으로 최적화합니다. 최적화된 모델은 최대 25배 더 빨리 실행되며 일반적인 기계 학습 모델과 비교해 10분의 1 미만의 리소스를 사용합니다.

SageMaker Neo를 시작하려면 SageMaker 콘솔에 로그인하고, 훈련된 모델을 선택한 다음, 예제를 따라 모델을 컴파일하고, 결과 모델을 대상 하드웨어 플랫폼에 배포합니다.

SageMaker Neo에는 컴파일러와 런타임이라는 2가지 주요 구성 요소가 포함됩니다. 먼저, SageMaker Neo 컴파일러는 다른 프레임워크에서 내보낸 모델을 읽습니다. 그런 다음 프레임워크별 함수와 작업을 프레임워크와 무관한 중간 표시로 변환합니다. 다음에는 일련의 최적화를 수행합니다. 그런 다음, 컴파일러는 최적화된 작업에 대한 바이너리 코드를 생성하고 이 코드를 공유 객체 라이브러리에 기록합니다. 또한 컴파일러는 모델 정의와 파라미터를 개별 파일로 저장합니다. 실행 중에 SageMaker Neo 런타임은 컴파일러에서 생성된 아티팩트(모델 정의, 파라미터, 모델을 실행하기 위한 공유 객체 라이브러리)를 로드합니다.

아니요. 다른 곳에서 모델을 훈련하고 SageMaker Neo를 사용하여 SageMaker ML 인스턴스 또는 AWS IoT Greengrass 지원 디바이스에 맞게 모델을 최적화할 수 있습니다.

현재, SageMaker Neo는 컴퓨터 비전 애플리케이션을 구동하는 가장 인기 있는 DL 모델과 오늘날 SageMaker에서 사용되는 가장 인기 있는 결정 트리 모델을 지원합니다. SageMaker Neo는 MXNet 및 TensorFlow에서 훈련된 AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet, DenseNet 모델과 XGBoost에서 훈련된 분류 및 Random Cut Forest 모델을 최적화합니다.

SageMaker Neo 설명서에서 지원되는 클라우드 인스턴스, 엣지 디바이스 및 프레임워크 버전의 목록을 확인할 수 있습니다.

지원되는 리전 목록은 AWS 리전 서비스 목록을 참조하세요.

SageMaker 절감형 플랜은 1년 또는 3년의 일정 사용량 약정(시간당 USD 요금으로 측정)을 조건으로 SageMaker에서 유연한 사용량 기반 요금 모델을 제공합니다. SageMaker 절감형 플랜은 최대 64%까지 비용을 절감할 수 있는 가장 유연한 요금 모델입니다. 이 요금은 인스턴스 패밀리, 크기 또는 리전과 관계없이 SageMaker Studio 노트북, SageMaker 온디맨드 노트북, SageMaker 처리, SageMaker Data Wrangler, SageMaker 훈련, SageMaker 실시간 추론 및 SageMaker 배치 변환을 포함하여 적격 SageMaker ML 인스턴스 사용량에 자동으로 적용됩니다. 예를 들어 추론 워크로드를 위해 미국 동부(오하이오)에서 실행되는 CPU 인스턴스 ml.c5.xlarge에서 미국 서부(오레곤)의 ml.Inf1 인스턴스로 언제든지 변경할 수 있으며, 절감형 플랜 요금이 자동으로 계속 적용됩니다.

SageMaker 인스턴스 사용량이 일정한 크기이고(시간당 USD 요금으로 측정됨), 여러 SageMaker 구성 요소를 사용하거나 시간이 지남에 따라 기술 구성(예: 인스턴스 패밀리, 리전)이 변경될 것으로 예상되는 경우 SageMaker 절감형 플랜을 사용하면 절감 효과를 극대화하면서 애플리케이션 요구 사항 또는 새로운 혁신에 따라 기본적인 기술 구성을 유연하게 변경할 수 있습니다. 절감형 플랜 요금은 수동으로 수정하지 않고도 모든 적격 기계 학습 인스턴스 사용량에 자동으로 적용됩니다.

AWS Management Console의 AWS Cost Explorer에서 또는 API/CLI를 사용하여 절감형 플랜 이용을 시작할 수 있습니다. AWS Cost Explorer에서 제공되는 권장 사항에 따라 손쉽게 Savings Plans 약정을 체결하여 가장 큰 절감 효과를 얻을 수 있습니다. 권장되는 시간 약정은 이전 온디맨드 사용량 기록과 고객이 선택한 요금제 유형, 기간, 결제 옵션을 기준으로 합니다. Savings Plans에 가입하면 컴퓨팅 사용량에 자동으로 할인된 Savings Plans 요금이 청구되고 약정 사용량을 초과하는 사용량에 대해서는 일반적인 온디맨드 요금이 청구됩니다.

SageMaker용 절감형 플랜과 Amazon EC2용 절감형 플랜의 차이는 포함되는 서비스에 있습니다. SageMaker 절감형 플랜은 SageMaker 기계 학습 인스턴스 사용량에만 적용됩니다.

Savings Plans는 AWS Organization/통합 결제 패밀리 내의 모든 계정에서 구매할 수 있습니다. 기본적으로 Savings Plans에서 제공하는 혜택은 AWS Organization/통합 결제 패밀리 내 모든 계정의 사용량에 적용 가능합니다. 그러나 Savings Plans 혜택을 해당 용량을 구매한 계정으로만 제한할 수도 있습니다.