TensorFlow, MXNet, PyTorch, XGBoost 및 TensorFlow Lite로 훈련된 모델을 최적화하여 모든 엣지 디바이스에 배포
펌웨어 및 애플리케이션 업데이트와 별도로 디바이스 플릿 전체에 모델을 배포
모델 재훈련을 위한 스마트 데이터를 캡처하여 모델을 지속적으로 개선
엣지 서버에서 스마트 카메라 및 IoT 센서에 이르는 모든 디바이스 플랫에 대해 자동화된 MLOps 파이프라인을 생성
시간 경과에 따라 정확도를 높이기 위해 모델 구축 및 개선
SageMaker Edge Agent를 사용하면 설정한 트리거를 기반으로 데이터 및 메타데이터를 캡처할 수 있으므로 기존 모델을 실제 데이터로 다시 훈련하거나 새 모델을 구축할 수 있습니다. 또한 이 데이터는 모델 드리프트 분석과 같은 자체 분석을 수행하는 데 사용할 수 있습니다.
배포 방법 선택
세 가지 배포 옵션이 있습니다. GGv2(~ 100MB 크기)는 완전히 통합된 AWS IoT 배포 메커니즘입니다. 디바이스 용량이 제한된 고객을 위해 SageMaker Edge 내에 더 작은 기본 제공 배포 메커니즘이 있습니다. 선호하는 배포 메커니즘이 있는 고객을 위해 사용자 흐름에 연결할 수 있는 서드 파티 메커니즘을 지원합니다.
디바이스 플릿을 모니터링하는 시각적 대시보드
Amazon SageMaker Edge Manager는 대시보드를 제공하여 플릿 전체의 각 디바이스에서 실행되는 모델의 성능을 이해할 수 있게 해줍니다. 대시보드는 콘솔의 대시보드를 통해 전체 플릿 상태를 시각적으로 이해하고 문제가 있는 모델을 식별하도록 도와줍니다. 문제가 식별되면 사용자는 모델 데이터를 수집하고, 데이터에 레이블을 다시 지정하고, 모델을 다시 훈련하고, 모델을 다시 배포할 수 있습니다.
다양한 디바이스에 대한 기계 학습 모델 최적화
Amazon SageMaker Edge Compiler는 다양한 엣지 디바이스에 배포할 수 있도록 기계 학습 모델을 자동으로 최적화합니다. SageMaker Edge Compiler는 대상 하드웨어에서 모델을 최대 25배 더 빠르게 실행할 수 있는 성능 최적화를 적용하는 실행 가능한 형식으로 훈련된 모델을 컴파일합니다.
보안 및 규정 준수 지원
고객
최고의 글로벌 PC 제조업체인 Lenovo™는 최근 Amazon SageMaker를 최신 예측 유지관리 서비스에 통합했습니다.
“새로운 SageMaker Edge Manager는 배포 후 모델의 최적화, 모니터링 및 지속적인 개선에 필요한 수작업을 없애도록 도와줄 것입니다. 그러면 우리 모델이 다른 유사한 기계 학습 플랫폼보다 더 빠르게 실행되고 메모리를 덜 소비할 것으로 예상됩니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”
Igor Bergman, Lenovo의 PC 및 스마트 디바이스의 클라우드 및 소프트웨어 담당 부사장.
Basler AG는 산업, 의학, 운송 및 기타 다양한 시장을 위한 고품질 디지털 카메라와 액세서리를 제조하는 최고의 업체입니다.
“Basler AG는 제조, 의료, 소매 분야 등 다양한 산업에서 지능형 컴퓨터 비전 솔루션을 제공합니다. 우리는 Amazon SageMaker Edge Manager가 제공하는 새로운 피처를 사용해 소프트웨어 제품을 확장하게 되어 기뻐하고 있습니다. 기계 학습 솔루션의 성능과 안정성을 보장하려면, 엣지 디바이스에서 기계 학습 모델을 지속적으로 모니터링, 유지관리 및 개선할 수 있게 해주는 확장 가능한 엣지-클라우드 MLOps 도구가 필요합니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”
Mark Hebbel, Basler의 소프트웨어 솔루션 책임자.