Amazon Bedrock – Häufig gestellte Fragen

Amazon-Bedrock-Agenten sind vollständig verwaltete Funktionen, die es Entwicklern erleichtern, generative KI-basierte Anwendungen zu erstellen, die komplexe Aufgaben für eine Vielzahl von Anwendungsfällen erledigen und aktuelle Antworten auf der Grundlage proprietärer Wissensquellen liefern können. In nur wenigen Schritten unterteilen Amazon-Bedrock-Agenten Aufgaben automatisch und erstellen einen Orchestrierungsplan – ganz ohne manuelle Codierung. Der Kundendienstmitarbeiter stellt über eine API eine sichere Verbindung zu Unternehmensdaten her, konvertiert Daten automatisch in ein maschinenlesbares Format und ergänzt die Anfrage mit relevanten Informationen, um die genaueste Antwort zu erhalten. Kundendienstmitarbeiter können dann automatisch APIs aufrufen, um die Anfrage eines Benutzers zu erfüllen. Beispielsweise möchte ein Fertigungsunternehmen möglicherweise eine generative KI-Anwendung entwickeln, die die Nachverfolgung von Lagerbeständen, Verkaufsdaten und Lieferketteninformationen automatisiert und optimale Nachbestellstellen und Mengen empfehlen kann, um die Effizienz zu maximieren. Als vollständig verwaltete Funktionen nehmen Amazon-Bedrock-Agenten den undifferenzierten Aufwand für die Verwaltung der Systemintegration und der Infrastrukturbereitstellung ab und ermöglichen es Entwicklern, generative KI in ihrem gesamten Unternehmen in vollem Umfang zu nutzen.

Mit Amazon-Bedrock-Agenten können Sie FMs sicher mit Ihren Unternehmensdatenquellen verbinden. Mit einer Wissensdatenbank können Sie Kundendienstmitarbeiter einsetzen, um FMs in Amazon Bedrock Zugriff auf zusätzliche Daten zu gewähren, die dem Modell helfen, relevantere, kontextspezifischere und genauere Antworten zu generieren, ohne das FM ständig neu trainieren zu müssen. Basierend auf Benutzereingaben identifizieren die Kundendienstmitarbeiter die entsprechende Wissensbasis, rufen die relevanten Informationen ab und fügen die Informationen zur Eingabeaufforderung hinzu, sodass das Modell mehr Kontextinformationen erhält, um eine Vervollständigung zu generieren.

Amazon-Bedrock-Agenten unterstützen Sie dabei, Ihre Produktivität zu steigern, Ihr Kundenservice-Erlebnis zu verbessern und Workflows zu automatisieren (z. B. bei der Bearbeitung von Versicherungsansprüchen).

Mit Agenten erhalten Entwickler nahtlose Unterstützung für Überwachung, Verschlüsselung, Berechtigungen für Benutzer, Versionsverwaltung und die Verwaltung von API-Aufrufen, ohne eigenen Code schreiben zu müssen. Amazon-Bedrock-Agenten automatisieren die schnelle Entwicklung und Orchestrierung benutzerangeforderter Aufgaben. Entwickler können die vom Agenten erstellte Vorlage für Prompts als Grundlage verwenden, um sie für eine verbesserte Benutzererfahrung weiter zu verfeinern. Sie können die Benutzereingabe, den Orchestrierungsplan und die FM-Antwort aktualisieren. Mit dem Zugriff auf die Prompt-Vorlage haben Entwickler eine bessere Kontrolle über die Kundendienstmitarbeiter-Orchestrierung.

Mit vollständig verwalteten Kundendienstmitarbeitern müssen Sie sich keine Gedanken über die Bereitstellung oder Verwaltung der Infrastruktur machen und können Anwendungen schneller zur Produktion bringen.

Alle von Amazon Bedrock verarbeiteten Kundeninhalte werden verschlüsselt und im Ruhezustand in der AWS-Region gespeichert, in der Sie Amazon Bedrock verwenden.

Nein. Die Eingaben der Nutzer und die Ergebnisse des Modells werden nicht an die Modellanbieter weitergegeben.

Amazon Bedrock bietet verschiedene Funktionen zur Unterstützung von Sicherheits- und Datenschutzanforderungen. Amazon Bedrock erfüllt gängige Compliance-Standards wie Fedramp Moderate, Service and Organization Control (SOC), Internationale Organisation für Normung (ISO) und Berechtigung zum Health Insurance Portability and Accountability Act (HIPAA). Kunden können Bedrock in Übereinstimmung mit der Datenschutz-Grundverordnung (DSGVO) verwenden. Amazon Bedrock ist im Umfang der SOC-Berichte 1, 2 und 3 enthalten, sodass Kunden Einblicke in unsere Sicherheitskontrollen erhalten. Wir weisen die Einhaltung der Vorschriften durch umfangreiche Prüfungen unserer AWS-Kontrollen durch Dritte nach. Amazon Bedrock ist einer der AWS-Services, die der ISO-Konformität für die Normen ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 und ISO 20000 unterliegen. Amazon Bedrock ist nach CSA Security Trust Assurance and Risk (STAR) Level 2 zertifiziert, was die Verwendung von bewährten Verfahren und den Sicherheitsstatus der AWS-Cloud-Angebote bestätigt. Bei Amazon Bedrock werden Ihre Inhalte nicht zur Verbesserung der Basismodelle verwendet und nicht an Drittanbieter von Modellen weitergegeben. Sie können AWS PrivateLink verwenden, um eine private Konnektivität von Amazon VPC zu Amazon Bedrock herzustellen, ohne Ihre Daten dem Internetverkehr auszusetzen.

Nein, AWS und die Modell-Drittanbieter werden keine Eingaben oder Ausgaben von Amazon Bedrock verwenden, um Amazon Titan oder Drittanbieter-Modelle zu trainieren.

Amazon Bedrock unterstützt SDKs für Laufzeit-Services. iOS- und Android-SDKs sowie Java, JS, Python, CLI, .Net, Ruby, PHP, Go und C++ unterstützen sowohl Text- als auch Spracheingabe.

Streaming wird in allen SDKs unterstützt.

Aktuelle Preisinformationen finden Sie auf der Seite mit der Preisübersicht für Amazon Bedrock.

Abhängig von Ihrem AWS-Support-Vertrag wird Amazon Bedrock im Rahmen der Pläne Developer Support, Business Support und Enterprise Support unterstützt.

Sie können CloudWatch-Metriken verwenden, um die Eingabe- und Ausgabe-Token zu verfolgen.

Wir haben Continued Pre-Training für Modelle von Amazon Titan Text Express und Amazon Titan auf Amazon Bedrock eingeführt. Continued Pre-Training ermöglicht es Ihnen, das Vortraining auf einem Amazon-Titan-Basismodell mit großen Mengen an ungekennzeichneten Daten fortzusetzen. Bei dieser Art von Training wird das Modell von einem allgemeinen Domain-Korpus an einen spezifischeren Domain-Korpus wie Medizin, Recht, Finanzen usw. angepasst, wobei die meisten Fähigkeiten des Amazon-Titan-Basismodells erhalten bleiben. 

Unternehmen möchten möglicherweise Modelle für Aufgaben in einer bestimmten Domain erstellen. Die Basismodelle sind möglicherweise nicht auf die Fachsprache trainiert, die in dieser speziellen Domain verwendet wird. Die direkte Feinabstimmung des Basismodells erfordert daher große Mengen an gekennzeichneten Trainingsdatensätzen und eine lange Trainingsdauer, um genaue Ergebnisse zu erzielen. Um diesen Aufwand zu verringern, kann der Kunde stattdessen große Mengen an nicht gekennzeichneten Daten für einen Continued-Pre-Training-Auftrag zur Verfügung stellen. Mit dieser Aufgabe wird das Amazon-Titan-Basismodell an die neue Domain angepasst. Anschließend kann der Kunde das neu vortrainierte benutzerdefinierte Modell auf nachgelagerte Aufgaben abstimmen, wobei deutlich weniger markierte Trainingsdatensätze und eine kürzere Trainingsdauer benötigt werden. 

Amazon Bedrock Continued Pre-Training und Fine Tuning haben sehr ähnliche Anforderungen. Aus diesem Grund haben wir uns dafür entschieden, einheitliche APIs zu erstellen, die sowohl das fortlaufende Pre-Training als auch Fine Tuning unterstützen. Die Vereinheitlichung der APIs reduziert die Lernkurve und hilft den Kunden bei der Nutzung von Standard-Features wie Amazon EventBridge zur Verfolgung lang laufender Aufträge, Amazon-S3-Integration zum Abrufen von Trainingsdaten, Ressourcen-Tags und Modellverschlüsselung. 

Das Continued Pre-Training hilft Ihnen, die Amazon-Titan-Modelle an Ihre Domain-Spezifischen Daten anzupassen, wobei die Basisfunktionalität der Amazon-Titan-Modelle erhalten bleibt. Um einen Continued-Pre-Training-Auftrag zu erstellen, navigieren Sie zur Amazon-Bedrock-Konsole und klicken Sie auf „Benutzerdefinierte Modelle“. Sie navigieren zur Seite für benutzerdefinierte Modelle, die zwei Registerkarten enthält: Modelle und Trainingsaufträge. Beide Registerkarten bieten auf der rechten Seite ein Dropdownmenü namens „Modell anpassen“. Wählen Sie im Dropdownmenü „Continued Pretraining“ aus, um zu „Continued-Pretraining-Auftrag erstellen“ zu gelangen. Sie geben das Quellmodell, den Namen, die Modellverschlüsselung, die Eingabedaten, die Hyperparameter und die Ausgabedaten an. Zusätzlich können Sie Tags sowie Details zu AWS Identity and Access Management (IAM)-Rollen und Ressourcenrichtlinien für den Auftrag angeben.

Die Amazon-Titan-Modellfamilie ist exklusiv für Amazon Bedrock erhältlich und beinhaltet die 25-jährige Erfahrung von Amazon bei Innovationen mit KI und Machine Learning im gesamten Unternehmen. Amazon-Titan-FMs bieten Kunden über eine vollständig verwaltete API eine breite Auswahl an leistungsstarken Bild-, multimodalen und Textmodellen. Amazon-Titan-Modelle werden von AWS erstellt und anhand großer Datensätze vortrainiert, sodass sie leistungsstarke Allzweckmodelle sind, die eine Vielzahl von Anwendungsfällen unterstützen und gleichzeitig den verantwortungsvollen Umgang mit KI unterstützen. Verwenden Sie sie unverändert oder passen Sie sie individuell mit Ihren eigenen Daten an. Weitere Informationen zu Amazon Titan.

Weitere Informationen zu den Daten, die zur Entwicklung und zum Training von Amazon-Titan-FMs verarbeitet werden, finden Sie auf der Seite Training und Datenschutz für Amazon-Titan-Modelle.

Zu den unterstützten Datenformaten gehören .pdf-, .txt-, .md-, .html-, .doc- und .docx-, .csv-, .xls- und .xlsx-Dateien. Dateien müssen in Amazon S3 hochgeladen werden. Zeigen Sie auf den Speicherort Ihrer Daten in Amazon S3, und Wissensdatenbanken für Amazon Bedrock kümmern sich um den gesamten Erfassungsablauf in Ihrer Vektordatenbank.

Wissensdatenbanken für Amazon Bedrock bieten drei Optionen zum Aufteilen von Text, bevor er in Einbettungen umgewandelt wird. 

1.  Standardoption: Wissensdatenbanken für Amazon Bedrock teilen Ihr Dokument automatisch in Abschnitte auf, die jeweils 200 Token enthalten, um sicherzustellen, dass ein Satz nicht in der Mitte unterbrochen wird. Enthält ein Dokument weniger als 200 Tokens, wird es nicht weiter aufgeteilt. Zwischen zwei aufeinanderfolgenden Chunks wird eine Überlappung von 20 % der Token beibehalten.

2.  Aufteilung mit fester Größe: Mit dieser Option können Sie die maximale Anzahl von Token pro Block und den Überlappungsprozentsatz zwischen Blöcken für Wissensdatenbanken für Amazon Bedrock angeben, sodass Ihr Dokument automatisch in Blöcke aufgeteilt wird und sichergestellt wird, dass ein Satz nicht in der Mitte unterbrochen wird. 

3.  Option „Eine Einbettung pro Dokument erstellen“: Amazon Bedrock erstellt eine Einbettung pro Dokument. Diese Option eignet sich, wenn Sie Ihre Dokumente vorverarbeitet haben, indem Sie sie in separate Dateien aufgeteilt haben, und nicht möchten, dass Amazon Bedrock Ihre Dokumente weiter zerlegt.

Gegenwärtig verwenden Wissensdatenbanken für Amazon Bedrock die neueste Version des Modells von Amazon Titan Text Embeddings, das in Amazon Bedrock verfügbar ist. Das Modell Titan Text Embeddings V2 unterstützt 8 000 Token und über 100 Sprachen und erstellt Einbettungen mit flexibler Dimensionierung von 256, 512 und 1 024. 

Wissensdatenbanken für Amazon Bedrock kümmern sich um den gesamten Erfassungsablauf, bei dem Ihre Dokumente in Einbettungen (Vektoren) umgewandelt und die Einbettungen in einer speziellen Vektordatenbank gespeichert werden.  Wissensdatenbanken für Amazon Bedrock unterstützen gängige Datenbanken für die Vektorspeicherung, einschließlich Vektor-Engine für Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (in Kürze verfügbar) und MongoDB (in Kürze verfügbar). Wenn Sie noch keine Vektordatenbank haben, erstellt Amazon Bedrock einen OpenSearch Serverless Vector Store für Sie.

Je nach Anwendungsfall können Sie Amazon EventBridge verwenden, um eine regelmäßige oder ereignisgesteuerte Synchronisierung zwischen Amazon S3 und Wissensdatenbanken für Amazon Bedrock zu erstellen.

Mit der Modellbewertung von Amazon Bedrock können Sie mit nur wenigen kurzen Schritten das beste FM für Ihren Anwendungsfall bewerten, vergleichen und auswählen. Amazon Bedrock bietet die Wahl zwischen automatischer Bewertung und menschlicher Bewertung. Sie können die automatische Bewertung mit vordefinierten Metriken wie Genauigkeit, Robustheit und Toxizität verwenden. Sie können menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken wie Freundlichkeit, Stil und Übereinstimmung mit der Markensprache verwenden. Bei menschlichen Bewertungen können Ihre eigenen Mitarbeiter oder ein von AWS verwaltetes Team als Prüfer eingesetzt werden. Die Modellbewertung von Amazon Bedrock bietet integrierte kuratierte Datensätze. Sie können aber auch Ihre eigenen Datensätze verwenden.

Mithilfe automatischer Bewertungen können Sie eine Vielzahl vordefinierter Metriken wie Genauigkeit, Robustheit und Toxizität bewerten. Sie können auch menschliche Bewertungs-Workflows für subjektive oder benutzerdefinierte Metriken verwenden, wie z. B. Freundlichkeit, Relevanz, Stil und Übereinstimmung mit der Markensprache.

Automatische Bewertungen ermöglichen es Ihnen, die Liste der verfügbaren FMs anhand von Standardkriterien (wie Genauigkeit, Toxizität und Robustheit) schnell einzugrenzen. Von Menschen durchgeführte Bewertungen werden häufig zur Beurteilung von differenzierteren oder subjektiven Kriterien verwendet, welche ein menschliches Urteilsvermögen erfordern und bei denen es möglicherweise keine automatischen Bewertungen gibt (z. B. Übereinstimmung mit der Markensprache, kreative Absicht, Freundlichkeit).

Sie können Amazon-Bedrock-Modelle schnell auf Metriken wie Genauigkeit, Robustheit und Toxizität prüfen, indem Sie kuratierte integrierte Datensätze verwenden oder Ihre eigenen Prompt-Datensätze einbringen. Nachdem Ihre Prompt-Datensätze zur Inferenz an Amazon.Bedrock-Modelle gesendet wurden, werden die Modellantworten mit Bewertungsalgorithmen für jede Dimension bewertet. Die Backend-Engine fasst die einzelnen Prompt-Response-Ergebnisse zu einer Gesamtbewertung zusammen und stellt sie in leicht verständlichen visuellen Berichten dar.

Mit Amazon Bedrock können Sie in wenigen Schritten menschliche Überprüfungsworkflows einrichten und Ihre internen Mitarbeiter oder ein von AWS verwaltetes Expertenteam zur Bewertung von Modellen heranziehen. Über die intuitive Benutzeroberfläche von Amazon Bedrock können Benutzer Modellantworten überprüfen und Feedback dazu geben, indem sie auf Daumen hoch oder runter klicken, auf einer Skala von 1 bis 5 bewerten, die beste aus mehreren Antworten auswählen oder Prompts bewerten. Beispielsweise kann einem Teammitglied gezeigt werden, wie zwei Modelle auf dieselbe Aufforderung reagieren, und dann aufgefordert werden, das Modell auszuwählen, das genauere, relevantere oder stilistischere Ergebnisse liefert. Sie können die für Sie wichtigen Bewertungskriterien festlegen, indem Sie die Anweisungen und Schaltflächen auf der Bewertungsoberfläche für Ihr Team anpassen. Sie können auch detaillierte Anweisungen mit Beispielen und dem Gesamtziel der Modellbewertung geben, damit Benutzer ihre Arbeit entsprechend ausrichten können. Diese Methode ist nützlich, um subjektive Kriterien zu bewerten, die ein menschliches Urteilsvermögen oder ein differenziertes Fachwissen erfordern und die nicht ohne weiteres durch automatische Auswertungen beurteilt werden können.

Integritätsschutz für Amazon Bedrock unterstützt Sie bei der Implementierung von Schutzmaßnahmen für Ihre generativen KI-Anwendungen basierend auf Ihren Anwendungsfällen und verantwortungsvollen KI-Richtlinien. Integritätsschutz hilft dabei, die Interaktion zwischen Nutzern und FMs zu kontrollieren, indem unerwünschte und schädliche Inhalte gefiltert werden, und bald persönlich identifizierbare Informationen (PII) geschwärzt werden, um die Sicherheit von Inhalten und die Privatsphäre in generativen KI-Anwendungen zu verbessern. Sie können mehrere Integrationsschutzebenen mit unterschiedlichen Konfigurationen erstellen, die auf bestimmte Anwendungsfälle zugeschnitten sind. Außerdem können Sie mit dem Integritätsschutz Benutzereingaben und FM-Reaktionen, die gegen die vom Kunden definierten Richtlinien verstoßen könnten, kontinuierlich überwachen und analysieren.

Mit dem Integritätsschutz können Sie eine Reihe von Richtlinien definieren, um Ihre generativen KI-Anwendungen zu schützen. Sie können die folgenden Richtlinien in einem Integritätsschutz konfigurieren.

• Abgelehnte Themen: Helfen Ihnen dabei, eine Reihe von Themen zu definieren, die im Kontext Ihrer Anwendung unerwünscht sind. Beispielsweise kann ein Online-Banking-Assistent so konzipiert werden, dass er keine Anlageberatung anbietet.
• Inhaltsfilter: Helfen Ihnen dabei, Schwellenwerte zu konfigurieren, um schädliche Inhalte in den Kategorien wie Hass, Beleidigung, Sexualität und Gewalt zu filtern.
• Wortfilter: Helfen Ihnen dabei, eine Reihe von Wörtern zu definieren, die in Benutzereingaben und FM-generierten Antworten blockiert werden sollen.
• PII-Redigierung: hilft Ihnen bei der Auswahl einer Reihe von PII, die in FM-generierten Antworten redigiert werden können. Je nach Anwendungsfall kann der Integritätsschutz Ihnen auch dabei helfen, eine Benutzereingabe zu blockieren, wenn sie PII enthält.
• Kontextbezogene Integritätsprüfungen: Helfen bei der Erkennung und Filterung von Halluzinationen, wenn die Antworten nicht in den Quellinformationen verankert sind (z. B. sachlich faslch oder neue Informationen) und für die Anfrage oder Anweisung des Benutzers irrelevant sind.

Integritätsschutz kann mit allen auf Amazon Bedrock verfügbaren großen Sprachmodellen (LLMs) verwendet werden. Er kann auch mit fein abgestimmten FMs sowie Kundendienstmitarbeitern für Amazon Bedrock verwendet werden.

AWS bietet eine unbegrenzte Entschädigung für Urheberrechtsansprüche, die sich aus der generativen Ausgabe der folgenden allgemein verfügbaren generativen KI-Services von Amazon ergeben: Amazon Titan Models, Amazon CodeWhisperer Professional und andere Services, die in Abschnitt 50.10 der Servicebedingungen aufgeführt sind (die „entschädigten generativen KI-Services“). Dies bedeutet, dass die Kunden vor Ansprüchen Dritter geschützt sind, die behaupten, dass die von den entschädigten generativen KI-Diensten als Reaktion auf vom Kunden bereitgestellte Eingaben oder andere Daten erzeugte Ausgabe gegen das Urheberrecht verstößt. Die Kunden müssen die Dienste auch verantwortungsbewusst nutzen, z. B. indem sie keine rechtsverletzenden Daten eingeben oder die Filter-Features eines Dienstes deaktivieren.

Darüber hinaus schützt unsere standardmäßige IP-Entschädigungsklausel für die Nutzung der Dienste die Kunden vor Ansprüchen Dritter, die behaupten, dass die Dienste und die zu ihrer Schulung verwendeten Daten gegen geistiges Eigentum verstoßen (einschließlich Urheberrechtsansprüchen).

Es gibt fünf Integritätsschutz-Richtlinien mit jeweils unterschiedlichen vorgefertigten Schutzmaßnahmen

• Inhaltsfilter – Es gibt 6 vorgefertigte Kategorien (Hass, Beleidigungen, Sex, Gewalt, Fehlverhalten (einschließlich krimineller Aktivitäten) und Prompt-Angriff (Jailbreak und Prompt-Injektion). Jede Kategorie kann hinsichtlich der Filteraggressivität weitere benutzerdefinierte Schwellenwerte aufweisen – niedrig/mittel/hoch.
• Abgelehntes Thema – Hierbei handelt es sich um benutzerdefinierte Themen, die der Kunde mithilfe einer einfachen Beschreibung in natürlicher Sprache definieren kann
• Filter für vertrauliche Informationen – Dieser wird mit über 30 vorgefertigten PIIs geliefert. Durch das Hinzufügen vertraulicher Kundeninformationen ist eine weitere Anpassung möglich.
• Wortfilter – Es verfügt über eine vorinstallierte Filterung von Schimpfwörtern und kann mit benutzerdefinierten Wörtern weiter angepasst werden.
• Kontextbezogene Integritätsprüfungen – Können helfen, Halluzinationen für RAG-, Zusammenfassungs- und Konversationsanwendungen zu erkennen, bei denen Quellinformationen als Referenz zur Validierung der Modellantwort verwendet werden können.

Die Basismodelle verfügen über eigene Schutzmaßnahmen, die standardmäßig den einzelnen Modellen zugeordnet sind. Diese nativen Sicherheitsmaßnahmen sind NICHT Teil des Integritätsschutzes für Amazon Bedrock. Integritätsschutz für Amazon Bedrock ist eine zusätzliche Schicht individueller Schutzmaßnahmen, die der Kunde optional basierend auf seinen Anwendungsanforderungen und verantwortungsvollen KI-Richtlinien anwenden kann.

Im Rahmen des Integritätsschutzes für Amazon Bedrock gehören die Erkennung von SSN und Telefonnummern zu den über 30 standardmäßigen PIIs. Die vollständige Liste finden Sie hier.

Für die Nutzung des Integritätsschutzes für Amazon Bedrock fallen separate Kosten an. Diese können sowohl für die Eingabe als auch für die Ausgabe angewendet werden. Preise finden Sie hier unten auf der Seite.

Ja, Amazon-Bedrock-Integritätsschutz-APIs helfen Kunden bei der Durchführung automatisierter Tests. „Testfallgenerator“ ist vielleicht etwas, das Sie verwenden möchten, bevor Sie Integritätsschutz in der Produktion einsetzen. Es gibt noch keinen nativen Testfallgenerator. Für die fortlaufende Überwachung des Datenverkehrs in der Produktion hilft der Integritätsschutz dabei, detaillierte Protokolle aller Verstöße für alle Eingaben und Ausgaben bereitzustellen, sodass Kunden jede einzelne Eingabe und Ausgabe ihrer generativen KI-Anwendung differenziert überwachen können. Diese Protokolle können in CloudWatch oder S3 gespeichert und zum Erstellen benutzerdefinierter Dashboards basierend auf den Kundenanforderungen verwendet werden.