Rad AI steigert den Umsatz um das Zehnfache mit Amazon EC2 P4d-Instances von NVIDIA

Laut einer Studie der Mayo Clinic arbeiten fast 90 Prozent der US-Radiologen an der Kapazitätsgrenze oder darüber. Rad AI hilft ihnen, ihre Arbeit zu erleichtern, indem sie Modelle für maschinelles Lernen (ML) trainiert, um detaillierte Dokumente zu lesen und die Ergebnisse automatisch in der Sprache des Radiologen zusammenzufassen, was die einsendenden Ärzte nutzen, um Beschwerden zu erkennen und Behandlungspläne zu erstellen. Rad AI arbeitet mit 16 Prozent des US-Radiologiemarktes zusammen, darunter 6 der 10 größten Radiologiekonzerne, und wollte seine Lösung erweitern, um mehr Kunden zu bedienen. Um die Geschwindigkeit seiner ML-Inferenz zu erhöhen und Schlussfolgerungen in Echtzeit zu generieren, entschied sich das Unternehmen für Amazon Web Services (AWS).

Rad AI hat seine Anwendungen zur Dokumentenzusammenfassung, die auf lokalen GPU-Servern liefen, auf Amazon Elastic Compute Cloud (Amazon EC2) P4d-Instanzen migriert, die von NVIDIA A100 Tensor Core GPUs betrieben werden. Durch die Bereitstellung seiner Anwendungen auf Amazon EC2 P4d-Instanzen konnte Rad AI seine ML-Inferenzzeiten erheblich verbessern, wodurch Radiologen schnellere und genauere Berichte erhalten und die Qualität der Patientenversorgung verbessert wird.

Rad AI ist ein Software-as-a-Service-Startup, das sich zum Ziel gesetzt hat, die Qualität des Gesundheitswesens durch die Rationalisierung von Radiologie-Workflows zu verbessern. „Radiologen sind sehr effizient, aber ihr Studienvolumen ist so hoch, dass Müdigkeit häufig vorkommt“, sagt Niven Shah, Business Development and Strategy Manager bei Rad AI. „Unsere Produkte nutzen die neuesten Fortschritte in der Verarbeitung natürlicher Sprache, um automatisch maßgeschneiderte Schlussfolgerungen für Radiologieberichte zu generieren, zusammen mit Folgeempfehlungen, die auf nationalen Richtlinien basieren.“

Rad AI reduziert die Anzahl der Wörter, die Radiologen diktieren, um 30-35 Prozent pro Tag und spart den Radiologen etwa 1 Stunde pro 9-Stunden-Schicht. Die Produkte sind in bestehende Arbeitsabläufe eingebunden und funktionieren als Null-Klick-Lösungen. „Wir haben Rad AI speziell entwickelt, um das Burnout von Radiologen zu reduzieren, die Qualität der Patientenversorgung zu verbessern und sicherzustellen, dass unsere Patienten zum richtigen Zeitpunkt die richtige Nachsorge und Behandlung erhalten“, sagt Dr. Jeff Chang, Radiologe und Mitbegründer von Rad AI. Das Unternehmen nutzte zuvor Amazon EC2 P3-Instanzen für die Bereitstellung seiner ML-Anwendungen, wollte aber eine höhere Leistung und schnellere Inferenzgeschwindigkeiten, um mehr Kunden bedienen zu können. Rad AI sah eine Möglichkeit, seine Ziele zu erreichen, indem es seine ML-Modelle auf Amazon EC2 P4d-Instanzen migrierte, die von NVIDIA A100-GPUs betrieben werden. 

Amazon EC2 P4d-Instances bieten 320 GB GPU-Speicher pro Instanz und sind die ersten, die 400 Gbit/s an Hochgeschwindigkeitsnetzwerken in der Cloud unterstützen. Durch ihre hohe Leistung und geringe Latenzzeit sind sie ideal für die schnellere Verarbeitung größerer Dokumente. Die Nutzung von AWS-Services würde Rad AI auch dabei helfen, die HIPAA-Compliance zu erleichtern und die Anforderungen der System- und Organisationskontrollen 2 Typ II-Zertifizierung zu erfüllen, was die Einbindung neuer Radiologiegruppen und Gesundheitssysteme vereinfachen würde.

Rad AI schloss die Migration im Jahr 2021 ab und verbesserte seine ML-Inferenzgeschwindigkeit und Gesamtleistung. „Durch die Migration zu Amazon EC2 P4d Instances haben wir unsere Echtzeit-Inferenzgeschwindigkeiten um 60 Prozent verbessert“, sagt Ali Demirci, Senior Software Engineer bei Rad AI. „Da wir in Echtzeit Zusammenfassungen erstellen können, hat sich diese Lösung unmittelbar auf das Kundenerlebnis ausgewirkt.“ Rad AI hat eine 136-prozentige Leistungssteigerung und einen 11-prozentigen schnelleren Durchsatz durch die Verwendung von Amazon EC2 P4d-Instanzen für seine Cloud-basierten Bereitstellungen im Vergleich zu den Bereitstellungen vor Ort festgestellt. Dank der höheren Geschwindigkeit, der verbesserten Leistung und der Skalierung in der Cloud kann das Startup seine Lösung mehr Kunden anbieten und sowohl mit kleineren Privatpraxen als auch mit milliardenschweren Gesundheitssystemen zusammenarbeiten.

Die Lösung von Rad AI liefert jetzt Zusammenfassungen von CT- und MRT-Scan-Berichten in 3 Sekunden anstelle der bisherigen 10 Sekunden und eine Zusammenfassung von Röntgenberichten in 0,7 Sekunden im Vergleich zu 2,5 Sekunden zuvor. Durch das Training einiger seiner ML-Modelle auf Amazon EC2 P4d-Instanzen konnte Rad AI die Trainingsdauer um das 2,4-fache reduzieren. Dank der verbesserten Inferenzgeschwindigkeit sind Radiologen nun in der Lage, Ärzten schnellere und genauere Berichte mit entsprechenden Empfehlungen für Folgemaßnahmen zu liefern. Die Ärzte können diese Berichte dann zur Diagnose von Krankheiten und zur Erstellung von Behandlungsplänen verwenden, was wiederum die Ergebnisse für die Patienten verbessert.

Rad AI verwendet Amazon Elastic Container Service (Amazon ECS), einen vollständig verwalteten Container-Orchestrierungsdienst, um mehrere ML-Modelle pro Tag bereitzustellen. "Die kontinuierliche Bereitstellung mit Amazon ECS ermöglicht es uns, schnell auf Kundenfeedback zu reagieren", sagt Demirci. „Wir können die Modelle einfach optimieren oder bei Bedarf sofort ändern. Unser ML-Team kann Instanzen schnell und automatisch bereitstellen, was dazu beiträgt, das Experimentieren mit Modellverbesserungen zu optimieren." Durch die Migration seiner ML-Inferenz in die Cloud machte Rad AI auch die Beschaffung und Bereitstellung einer Infrastruktur für seine lokalen Rechenzentren überflüssig. Stattdessen ist Rad AI in der Lage, Instanzen nach Bedarf bereitzustellen und so seine Betriebskosten zu optimieren.

Rad AI hat sich auch dafür entschieden, seine ML-Technologie mit PyTorch, einem Open-Source-ML-Framework, zu entwickeln, zu trainieren und einzusetzen. PyTorch ermöglicht es Rad AI, Komponenten seiner ML-Workflows für einfaches Debugging und schnelles Experimentieren mit neueren, fortgeschritteneren Iterationen seines ML-Trainingsablaufs zu zerlegen und wieder zusammenzusetzen. Mit PyTorch kann das Team komplexere Modellarchitekturen mit weniger Zeitaufwand für Entwicklung und Iteration erstellen.

Das Unternehmen skalierte auch seine Services auf AWS und expandierte, um neue Kunden zu bedienen. „Wenn Sie wie wir große ML-Modelle bereitstellen müssen, ist viel GPU-Speicher erforderlich“, sagt Andriy Mulyar, ML-Ingenieur bei Rad AI. „Amazon EC2 P4d Instances verfügen über 40 GB Arbeitsspeicher mit hoher Bandbreite pro GPU und können unsere Speicheranforderungen effektiv erfüllen. Jetzt können wir unsere ML-Anwendungen nach Bedarf skalieren, ohne dass wir physische Hardware bereitstellen müssen. Wir sind in der Lage, Ergebnisse für unsere Kunden viel schneller zu generieren, was wiederum unsere Innovationsgeschwindigkeit erhöht.“ Da Rad AI skalieren kann, um mehr Kunden zu bedienen, konnte das Startup seinen Kundenstamm bis 2021 um über 100 Prozent vergrößern. Rad AI hat außerdem seine wiederkehrenden Umsätze im Jahr 2021 im Vergleich zu 2020 mehr als verzehnfacht.

Durch die Migration auf Amazon EC2 P4d-Instanzen konnte Rad AI seine Umsätze steigern, die Innovationsgeschwindigkeit erhöhen und seine ML-Anwendungen nahtlos skalieren, was seinen Kunden Vorteile in Echtzeit bietet und seine Reichweite vergrößert. Radiology Associates of North Texas, die größte private Radiologiepraxis in Texas, hat beispielsweise die Rad AI-Dienste auf alle 225 Radiologen ausgeweitet, nachdem sie die AWS-gestützte Lösung des Unternehmens getestet hatten. Für die Zukunft plant Rad AI die weitere Automatisierung seiner Datenpipeline auf AWS und die Einführung neuer ML-gesteuerter Produkte zur Verbesserung der Patientenversorgung.

Rad AI hat mit AWS für die Entwicklung und Bereitstellung von ML-Anwendungen eine schnelle, leistungsstarke Lösung entwickelt. "Wann immer man das AWS-Team um Hilfe bittet, wird man mit einer sachkundigen Person verbunden, und die Probleme werden sehr schnell gelöst", sagt Demirci. „Die Zusammenarbeit mit dem AWS-Team war für uns ein großer Vorteil.“