Übersicht
Der Generative AI Application Builder in AWS vereinfacht die Entwicklung, das schnelle Experimentieren und den Einsatz von Anwendungen für generative künstliche Intelligenz (KI), ohne dass umfassende Erfahrungen mit KI erforderlich sind. Diese AWS-Lösung beschleunigt die Entwicklung und optimiert Experimente, indem sie Ihnen hilft, Ihre geschäftsspezifischen Daten und Dokumente zu erfassen, die Leistung großer Sprachmodelle (LLMs) zu bewerten und zu vergleichen, schnell erweiterbare Anwendungen zu erstellen und diese Anwendungen mit einer Architektur für Unternehmen bereitzustellen.
Generative-KI-Anwendungsentwickler in AWS umfasst Integrationen mit Amazon Bedrock und den darin enthaltenen LLMs, sowie den in Amazon SageMaker bereitgestellten LLMs. Darüber hinaus ermöglicht diese Lösung Verbindungen zu einem Modell Ihrer Wahl mithilfe von LangChain oder AWS Lambda. Beginnen Sie mit dem No-Code-Bereitstellungsassistenten, um generative KI-Anwendungen für Konversationssuche, KI-generierte Chatbots, Textgenerierung und Textzusammenfassung zu erstellen.
Vorteile
Mit dieser Lösung können Benutzer schnell experimentieren, da der Aufwand entfällt, der für die Bereitstellung mehrerer Instances mit unterschiedlichen Konfigurationen und für den Vergleich von Ergebnissen und Leistung erforderlich ist. Experimentieren Sie mit mehreren Konfigurationen verschiedener LLMs, Prompt Engineering, Wissensdatenbanken für Unternehmen und anderen Parametern.
Mit vorgefertigten Konnektoren zu einer Vielzahl von LLMs, wie z. B. den über Amazon Bedrock verfügbaren Modellen, bietet Ihnen diese Lösung die Flexibilität, das Modell Ihrer Wahl sowie die von Ihnen bevorzugten AWS- und führenden FM-Services bereitzustellen.
Diese Lösung basiert auf den Entwicklungsprinzipien von AWS Well-Architected und bietet Sicherheit und Skalierbarkeit auf Unternehmensniveau mit hoher Verfügbarkeit und geringer Latenz. Dadurch wird eine nahtlose Integration in Ihre Anwendungen mit hohen Leistungsstandards gewährleistet.
Erweitern Sie die Funktionalität dieser Lösung, indem Sie Ihre vorhandenen Projekte integrieren oder zusätzliche AWS-Services nativ verbinden. Da es sich um eine Open-Source-Anwendung handelt, können Sie die enthaltene LangChain-Orchestrierungsservice-Ebene oder Lambda-Funktionen verwenden, um eine Verbindung mit den Services Ihrer Wahl herzustellen.
Technische Details
Sie können diese Architektur mithilfe des Implementierungsleitfadens und der zugehörigen AWS-CloudFormation-Vorlage, die zwei separate Architekturen bereitstellt, automatisch bereitstellen:
- Bereitstellungs-Dashboard – Das Bereitstellungs-Dashboard ist eine Web-Benutzeroberfläche (UI), die Administratorbenutzern als Verwaltungskonsole zum Anzeigen, Verwalten und Erstellen ihrer Anwendungsfälle dient. Dieses Dashboard ermöglicht es Kunden, mithilfe mehrerer Konfigurationen von LLMs und Daten schnell mit Anwendungen für generative KI zu experimentieren, zu iterieren und bereitzustellen.
- Textanwendungsfall – Der Testanwendungsfall ermöglicht es Benutzern, mithilfe generativer KI eine Benutzeroberfläche in natürlicher Sprache zu erleben. Dieser Anwendungsfall kann in neue oder bestehende Anwendungen integriert werden und kann über das Bereitstellungs-Dashboard oder unabhängig über eine angegebene URL bereitgestellt werden.
-
Bereitstellungs-Dashboard
-
Anwendungsfall-Text
-
Bereitstellungs-Dashboard
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche (UI) des Bereitstellungs-Dashboards an.Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von Amazon API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway. In einer Amazon DynamoDB Tabelle werden die AWS Identity and Access Management (IAM) Richtlinien autorisierter Benutzer gespeichert.Schritt 6
AWS Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
DynamoDB speichert die Liste der Bereitstellungen.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in DynamoDB gespeichert. Die Bereitstellung verwendet diese DynamoDB Tabelle, um den LLM zur Laufzeit zu konfigurieren.Schritt 10
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche (UI) des Bereitstellungs-Dashboards an.Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von Amazon API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway. In einer Amazon DynamoDB Tabelle werden die AWS Identity and Access Management (IAM) Richtlinien autorisierter Benutzer gespeichert.Schritt 6
AWS Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
DynamoDB speichert die Liste der Bereitstellungen.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in DynamoDB gespeichert. Die Bereitstellung verwendet diese DynamoDB Tabelle, um den LLM zur Laufzeit zu konfigurieren.
Schritt 10
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
-
Anwendungsfall-Text
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. API Gateway wird von einer benutzerdefinierten Lambda -Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie basierend auf der Amazon Cognito-Gruppe zurückgibt, zu der der authentifizierende Benutzer gehört. Die Richtlinie wird in DynamoDB gespeichert.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Eingehende Anfragen des Geschäftsbenutzers werden vom API Gateway an eine Amazon Simple Queue Service (Amazon SQS) Warteschlange und dann an den LangChain Orchestrator weitergeleitet. Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Geschäftsbenutzern bereitstellen.Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda Integration. Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktionen, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksenden, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Der LangChain Orchestrator verwendet DynamoDB , um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen (z. B. den Chat-Verlauf) abzurufen.Schritt 7
Wenn für die Bereitstellung eine Wissensdatenbank konfiguriert ist, nutzt der LangChain Orchestrator Amazon Kendra oder Knowledge Bases für Amazon Bedrock, um eine Suchanfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontexts aus der Wissensdatenbank erstellt der LangChain Orchestratorden endgültigen Prompt und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. API Gateway wird von einer benutzerdefinierten Lambda -Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie basierend auf der Amazon Cognito-Gruppe zurückgibt, zu der der authentifizierende Benutzer gehört. Die Richtlinie wird in DynamoDB gespeichert.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Eingehende Anfragen des Geschäftsbenutzers werden vom API Gateway an eine Amazon Simple Queue Service (Amazon SQS) Warteschlange und dann an den LangChain Orchestrator weitergeleitet. Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Geschäftsbenutzern bereitstellen.Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda Integration. Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktionen, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksenden, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Der LangChain Orchestrator verwendet DynamoDB , um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen (z. B. den Chat-Verlauf) abzurufen.Schritt 7
Wenn für die Bereitstellung eine Wissensdatenbank konfiguriert ist, nutzt der LangChain Orchestrator Amazon Kendra oder Knowledge Bases für Amazon Bedrock, um eine Suchanfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontexts aus der Wissensdatenbank erstellt der LangChain Orchestratorden endgültigen Prompt und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.
- Datum der Veröffentlichung
Ähnliche Inhalte
Der einfachste Weg, Anwendungen für generative KI mit Basismodellen zu erstellen und zu skalieren.
Dieser Leitfaden zeigt, wie Sie ein von Amazon SageMaker JumpStart bereitgestelltes Modell der generativen künstlichen Intelligenz (KI) einsetzen, um mithilfe des AWS Cloud Development Kit (AWS CDK) einen asynchronen SageMaker-Endpunkt zu erstellen.
Dieser Leitfaden zeigt, wie eine Anwendung erstellt wird, mit der Benutzer mithilfe von Abfragen in natürlicher Sprache (NLQ) Fragen direkt an relationale Datenbanken stellen können.
Steigern Sie die Produktivität, schaffen Sie differenzierte Erlebnisse und führen Sie Innovationen mit AWS schneller ein.
Diese Fallstudie zeigt, wie das Rundfunkunternehmen Megamedia einen generativen KI-gestützten Chatbot entwickelt hat, um den Zugriff auf wichtige öffentliche Informationen mithilfe von AWS zu vereinfachen.