Rad AI, NVIDIA로 구동되는 Amazon EC2 P4d 인스턴스를 사용하여 10배 높은 매출 달성

Mayo Clinic의 연구에 따르면 미국 방사선 전문의의 거의 90%가 전력을 다해 일하거나 그 이상으로 일한다고 합니다. Rad AI는 세부 문서를 읽고 방사선 전문의의 언어에 맞춰 결과를 자동으로 요약하는 기계 학습(ML) 모델을 훈련하여 방사선 전문의의 업무량을 줄여줍니다. 의사는 이 요약을 사용하여 질병을 식별하고 치료 계획을 세울 수 있습니다. Rad AI는 10대 방사선학 그룹 중 6개를 포함하여 미국 방사선학 시장의 16%에 달하는 고객과 협력합니다. Rad AI는 더 많은 고객에게 서비스를 제공하기 위해 솔루션을 확장하고자 했습니다. 기계 학습 추론 속도를 높이고 실시간 결과를 생성하기 위해 회사는 Amazon Web Services(AWS)를 사용하기로 선택했습니다.

Rad AI는 온프레미스 GPU 서버에서 실행되는 문서 요약 애플리케이션을 NVIDIA A100 Tensor Core GPU로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) P4d 인스턴스로 마이그레이션했습니다. Amazon EC2 P4d 인스턴스에 애플리케이션을 배포한 후 Rad AI의 기계 학습 추론 시간은 큰 폭으로 줄었고, 그 결과로 더 정확한 보고서를 더 빠르게 제공하고 환자 치료의 질을 개선할 수 있었습니다.

Rad AI는 방사선 워크플로를 간소화하여 의료 서비스의 질을 개선하고자 하는 서비스형 소프트웨어 스타트업입니다. Rad AI의 비즈니스 개발 및 전략 관리자인 Niven Shah는 “방사선 전문의들은 꽤 능률적으로 일하지만 연구량이 너무 많아 자주 피로를 느끼는 것이 문제”라면서 “우리 제품은 자연어 처리의 최신 기술을 사용하여 방사선 보고서의 사용자 지정된 결론과 국내 지침에 따른 후속 권장 사항을 자동으로 생성합니다”라고 말합니다.

Rad AI는 방사선 전문의가 하루에 써야 하는 단어 수를 30~35%까지 줄여줍니다. 방사선 전문의는 9시간 교대에서 약 1시간을 절약할 수 있습니다. 이 제품은 기존 워크플로에 연결되며 제로 클릭 솔루션으로 작동합니다. “Rad AI를 만든 이유는 방사선 전문의의 과로를 줄이고, 환자 치료의 질을 개선하며, 적절한 추적 검사 및 진료를 제때 제공하기 위해서”라고 방사선 전문의이자 Rad AI의 공동 창립자인 Jeff Chang 박사는 말합니다. 이 회사는 이전에 Amazon EC2 P3 인스턴스를 사용하여 기계 학습 애플리케이션을 배포했지만 더 많은 고객에게 서비스를 제공하기 위해 더 높은 성능과 더 빠른 추론 속도를 원했습니다. Rad AI는 NVIDIA A100 GPU로 구동되는 Amazon EC2 P4d 인스턴스로 기계 학습 모델을 마이그레이션하여 목표를 달성할 방법을 찾았습니다. 

Amazon EC2 P4d 인스턴스는 인스턴스당 320GB의 GPU 메모리를 제공하며 클라우드 최초로 400Gbps의 고속 네트워킹을 지원합니다. 높은 성능과 짧은 대기 시간은 더 큰 문서를 더 빠른 속도로 처리하기에 적합합니다. AWS 서비스를 사용하면 Rad AI에서 HIPAA 규정을 손쉽게 준수하고 System and Organization Controls 2 Type II 인증을 달성하는 데도 도움이 됩니다. 새로운 방사선학 그룹 및 의료 시스템을 간편하게 온보딩할 수 있기 때문입니다.

Rad AI는 2021년에 마이그레이션을 완료하여 기계 학습 추론 속도를 높이고 전반적인 성능을 개선했습니다. Rad AI의 수석 소프트웨어 엔지니어인 Ali Demirci는 “Amazon EC2 P4d 인스턴스로 마이그레이션한 후 실시간 추론 속도가 60% 개선되었습니다”라면서 “실시간으로 요약을 생성할 수 있다는 점에서 이 솔루션은 고객 경험에 즉각적인 영향을 미칩니다”라고 말합니다. Rad AI는 Amazon EC2 P4d 인스턴스를 클라우드 기반 배포에 사용하여 온프레미스 배포 대비 성능을 136% 개선하고 처리 속도를 11% 개선했습니다. 더 빠른 속도, 향상된 성능 및 클라우드의 확장성을 바탕으로 이 스타트업은 소규모 개인 병원부터 수십억 달러 규모의 의료 시스템에 이르는 더 넓은 범위의 고객에게 솔루션을 제공할 수 있게 되었습니다.

이제 Rad AI의 솔루션은 이전에 10초가 걸렸던 CT 및 MRI 스캔 보고서 요약을 3초 안에 제공하며 X선 보고서 요약을 이전의 2.5초가 아닌 0.7초 안에 제공합니다. Amazon EC2 P4d 인스턴스에서 기계 학습 모델 일부를 훈련하여 Rad AI는 훈련 기간을 2.4배 단축했습니다. 추론 속도가 개선됨에 따라 방사선 전문의들은 더 정확한 보고서와 후속 치료에 대한 권장 사항을 의사에게 더 빠르게 제공할 수 있습니다. 의사들은 이러한 보고서를 사용하여 질병을 진단하고 치료 계획을 작성하여 환자의 치료 결과를 개선할 수 있습니다.

Rad AI는 완전관리형 컨테이너 오케스트레이션 서비스인 Amazon Elastic Container Service(Amazon ECS)를 사용하여 하루에 여러 기계 학습 모델을 배포합니다. Demirci는 “Amazon ECS를 사용하면 지속적으로 배포할 수 있으므로 고객 피드백에 빠르게 응답할 수 있습니다”라면서 “모델을 간단히 수정하거나 필요에 따라 즉시 변경할 수 있습니다. 회사의 기계 학습 팀에서 인스턴스를 자동으로 빠르게 프로비저닝할 수 있으므로 모델 개선을 위한 실험을 간소화하는 데 도움이 됩니다”라고 말합니다. 기계 학습 추론을 클라우드로 마이그레이션한 후 Rad AI는 온프레미스 데이터 센터를 위한 인프라를 조달하고 프로비저닝할 필요도 없어졌습니다. 대신, Rad AI는 인스턴스를 온디맨드로 프로비저닝하여 운영 비용을 최적화할 수 있습니다.

또한 Rad AI는 기계 학습 기술의 개발, 훈련 및 배포에 오픈 소스 기계 학습 프레임워크인 PyTorch를 사용하기로 결정했습니다. Rad AI는 PyTorch를 사용하여 기계 학습 워크플로의 구성 요소를 디스어셈블 및 리어셈블함으로써 디버깅을 간소화하고 기계 학습 훈련 흐름을 최신의 발전된 기술로 반복하여 실험 기간을 단축할 수 있습니다. 팀은 PyTorch를 사용하여 개발 및 반복에 소요되는 시간을 줄이면서 더 복잡한 모델 아키텍처를 제공할 수 있습니다.

회사는 AWS에서 실행되는 서비스 수를 늘려 신규 고객을 위한 서비스로 확장했습니다. Rad AI의 기계 학습 엔지니어인 Andriy Mulyar는 “대규모 기계 학습 모델을 배포하려면 상당한 양의 GPU 메모리가 필요합니다”라면서 “Amazon EC2 P4d 인스턴스에는 GPU당 40GB의 고대역폭 메모리가 포함되어 있어 메모리 요구 사항을 효과적으로 충족할 수 있습니다. 이제 물리적 하드웨어를 프로비저닝할 필요 없이 기계 학습 애플리케이션을 온디맨드로 확장할 수 있습니다. 고객을 위한 결과를 훨씬 더 빠른 속도로 생성할 수 있으며 나아가 더 빠른 속도로 혁신할 수 있습니다”라고 말합니다. Rad AI는 더 많은 고객에게 서비스를 제공할 수 있는 규모로 확장했고 2021년에 이 스타트업의 고객 기반은 100%를 넘는 비율로 성장했습니다. 뿐만 아니라 Rad AI의 2021년 반복 매출은 2020년과 비교하여 10배 이상 증가했습니다.

Rad AI는 Amazon EC2 P4d 인스턴스로 마이그레이션한 후 매출을 늘리고, 혁신 속도를 높이며, 기계 학습 애플리케이션을 원활하게 확장하여 고객에게 즉시 실현 가능한 이점을 제공하고 고객 기반을 넓혔습니다. 일례로 텍사스 최대 규모의 민간 방사선 센터인 Radiology Associates of North Texas는 이 회사의 AWS 기반 솔루션을 테스트한 후 Rad AI 서비스를 전체 225명의 방사선 전문의로 확대했습니다. 앞으로 Rad AI는 AWS에서 데이터 파이프라인을 추가로 자동화하고 새로운 기계 학습 기반 제품을 출시하여 환자 치료를 개선할 계획입니다.

Rad AI는 AWS를 기계 학습 애플리케이션 개발 및 배포에 사용하여 고성능의 고속 솔루션을 빠르게 구축했습니다. Demirci는 “AWS 팀에 도움을 요청하면 풍부한 지식을 가진 담당자를 통해 문제를 아주 빠르게 해결할 수 있습니다”라면서 “AWS 팀과 일한 경험은 우리에게 엄청난 이득이 되었습니다”라고 말합니다.