Finch Computing reduziert die Inferenzkosten mithilfe von AWS Inferentia für die Sprachübersetzung um 80 %

Mit Niederlassungen in Reston, Virginia, und Dayton, Ohio, bedient Finch – eine Kombination der Wörter „find“ und „search“ – Medienunternehmen und Datenaggregatoren, US-Geheimdienst- und Regierungsorganisationen sowie Finanzdienstleistungsunternehmen. Im Mittelpunkt seiner Produkte steht NLP, ein Teilgebiet der künstlichen Intelligenz, das Modellen beibringt, die Nuancen der menschlichen Sprache zu verstehen, einschließlich der Entschlüsselung von Ton und Absicht. Das Produkt Finch for Text verwendet dichte, parallele Berechnungen für Machine Learning (ML), die auf leistungsstarker, beschleunigter Datenverarbeitung beruhen, sodass es Kunden nahezu in Echtzeit Einblicke in ihre Informationsressourcen liefern kann. Die Funktion zur Begriffsklärung von Entitäten bietet Kunden beispielsweise die Möglichkeit, die korrekte Bedeutung eines Wortes zu interpretieren, das mehrere Bedeutungen oder Schreibweisen hat.

Finch erweiterte seine Kapazitäten, um Niederländisch zu unterstützen, woraus die Idee entstand, das Unternehmen weiter zu skalieren, um Französisch, Deutsch, Spanisch und andere Sprachen einzubeziehen. Diese Entscheidung war nicht nur deshalb wertvoll, weil die Kunden von Finch viele Inhalte in diesen Sprachen hatten, sondern auch, weil Modelle, die zusätzliche Sprachen unterstützen, neue Kunden gewinnen konnten. Finch musste einen Weg finden, eine erhebliche Menge zusätzlicher Daten zu verarbeiten, ohne die Durchsatz- oder die Reaktionszeiten zu beeinträchtigen – beides wichtige Faktoren für seine Kunden – oder die Bereitstellungskosten zu erhöhen.

Auf der AWS re:Invent 2021, einer jährlichen Konferenz, die von AWS für die globale Cloud-Computing-Community veranstaltet wird, informierten sich Vertreter von Finch über AWS-Inferentia-basierte Instances in der Amazon Elastic Compute Cloud (Amazon EC2), die sichere und skalierbare Datenverarbeitungskapazität für praktisch jeden Workload bietet. AWS stellte Finch dem AWS-Partner Slalom vor, einem Beratungsunternehmen, das sich auf Strategie, Technologie und Geschäftstransformation konzentriert. Nach der AWS re:Invent arbeiteten die Teammitglieder von Slalom und Finch zwei Monate lang daran, eine kostengünstige Lösung zu entwickeln. „Wir haben uns nicht nur vom AWS-Team beraten lassen, sondern auch Kontakt zu Slalom aufgenommen, was uns geholfen hat, unsere Workloads zu optimieren und dieses Projekt zu beschleunigen“, sagt Scott Lightner, Gründer und Chief Technology Officer von Finch.

Gemeinsam entwickelten Finch und Slalom eine Lösung, die den Einsatz der auf AWS Inferentia basierenden Amazon-EC2-Inf1-Instances optimierte, die leistungsstarke ML-Inferenz zu geringen Kosten in der Cloud bieten. „Angesichts der Kosten für GPUs hätten wir unseren Kunden einfach keine zusätzlichen Sprachen anbieten und gleichzeitig unser Produkt rentabel halten können“, so Lightner. „Amazon-EC2-Inf1-Instances haben diese Gleichung für uns verändert.“

Die firmeneigenen Deep-Learning-Übersetzungsmodelle liefen auf PyTorch in AWS, einem Open-Source-Deep-Learning-Framework, das es einfach macht, ML-Modelle zu entwickeln und in der Produktion einzusetzen. Finch nutzte Docker, um seine PyTorch-Modelle zu containerisieren und bereitzustellen. Finch migrierte diese datenverarbeitungsintensiven Modelle von GPU-basierten Instances zu Amazon-EC2-Inf1-Instances, die von AWS Inferentia unterstützt werden. Amazon-EC2-Inf1-Instances wurden entwickelt, um eine Vielzahl von Modellen zu beschleunigen – von Computer Vision bis NLP. Das Team konnte eine Lösung entwickeln, die unterschiedliche Modellgrößen bot und den gleichen Durchsatz beibehielt wie bei der Verwendung von GPUs, aber zu deutlich geringeren Kosten. „Mit AWS Inferentia sind wir in der Lage, den erforderlichen Durchsatz und die Leistung zu einem Preis zu erzielen, den sich unsere Kunden leisten können“, so Lightner.

Die Strategie beinhaltete die Bereitstellung von Docker-Containern für Amazon Elastic Container Service (Amazon ECS), einen vollständig verwalteten Container-Orchestrierungsservice, der es Unternehmen erleichtert, containerisierte Anwendungen bereitzustellen, zu verwalten und zu skalieren. Die Lösung umfasste AWS Deep Learning AMIs (DLAMI), vorkonfigurierte Umgebungen zur schnellen Erstellung von Deep-Learning-Anwendungen. Finch schloss die AWS-Inferentia-AMIs an seine DevOps-Pipeline an und aktualisierte seine Infrastructure-as-Code-Vorlagen, um AWS Inferentia für die Ausführung maßgeschneiderter Container mit Amazon ECS zu verwenden. „Nachdem wir unsere DevOps-Pipeline in Amazon-EC2-Inf1-Instances und Amazon ECS ausgeführt hatten, konnten wir schnell mehr Deep-Learning-Modelle bereitstellen“, sagt Franz Weckesser, Chief Architect bei Finch. Tatsächlich hat Finch in nur 2 Tagen ein Modell zur Unterstützung der ukrainischen Sprache entwickelt. Innerhalb weniger Monate implementierte Finch drei zusätzliche ML-Modelle, die NLP in Deutsch, Französisch und Spanisch unterstützten, und verbesserte die Leistung seines bestehenden niederländischen Modells.

Mithilfe von Amazon-EC2-Inf1-Instances verbesserte das Unternehmen die Geschwindigkeit der Entwicklung dieser neuen Produkte und senkte gleichzeitig die Inferenzkosten um mehr als 80 Prozent. Die neuen Modelle zogen Kunden an, die daran interessiert waren, Erkenntnisse aus den zusätzlichen Sprachen zu gewinnen, und es gab positive Rückmeldungen von Bestandskunden. „Es ist immer schwierig, umfassende Änderungen an der Infrastruktur vorzunehmen“, sagt Lightner. „Aber wir konnten sie mit der Beharrlichkeit unseres Teams mit Hilfe von Slalom und AWS schnell überwinden. Bei diesem Endergebnis hat sich der Aufwand gelohnt.“

Finch plant, weitere Modelle zu AWS Inferentia zu migrieren. Zu diesen Modellen gehören Sentiment Assignment, das einen Inhalt als positiv, negativ oder neutral identifiziert, und eine neue Funktion namens Relationship Extraction, eine datenverarbeitungsintensive Anwendung, die Beziehungen zwischen Entitäten erkennt, die im Text erwähnt werden. Und Finch fügt weiterhin neue Sprachen hinzu. Es plant als Nächstes Arabisch, Chinesisch und Russisch. „Unsere Erfahrung bei der Arbeit mit AWS Inferentia war großartig“, sagt Lightner. „Es war ausgezeichnet, einen Cloud-Anbieter zu haben, der mit uns zusammenarbeitet und uns hilft, mit dem Wachstum unseres Unternehmens zu skalieren.“