- 生成式人工智能›
- Amazon Bedrock›
- 常见问题
Amazon Bedrock 常见问题
一般性问题
什么是 Amazon Bedrock?
Amazon Bedrock 是一项完全托管的服务,可提供多种行业领先的基础模型(FM),以及构建生成式人工智能应用程序所需的一系列广泛功能,通过符合安全性和隐私性的负责任人工智能简化开发。借助 Amazon Bedrock 的全面功能,您可以尝试各种顶级基础模型,使用微调和检索增强生成(RAG)等技术利用您的数据对其进行私人自定义,并创建可执行复杂业务任务的托管代理,从预订旅行和处理保险索赔,到创建广告活动和管理库存,所有这些都无需编写任何代码。由于 Amazon Bedrock 是无服务器的,因此您无需管理任何基础设施,并且可以使用已经熟悉的 AWS 服务将生成式人工智能功能安全地集成和部署到您的应用程序中。
为什么应该使用 Amazon Bedrock?
使用 Amazon Bedrock 来构建生成式人工智能应用程序有五个理由。
- 选择领先的基础模型:Amazon Bedrock 提供易于使用的开发者体验,支持来自 Amazon 以及 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 和 Stability AI 等领先人工智能公司的各种高性能基础模型。无论选择哪种模型,您都可以在操场上快速尝试各种 FM,并使用单个 API 进行推理,这样便可灵活使用来自不同提供商的 FM,并且只需最少的代码更改即可保持最新的模型版本。
- 利用您的数据轻松定制模型:无需编写任何代码,即可通过可视化界面使用自己的数据私下自定义 FM。只需选择存储在 Amazon Simple Storage Service(Amazon S3)中的训练和验证数据集,并在需要时调整超参数即可实现可能的最佳模型性能。
- 完全托管的代理,可以动态调用 API 来执行任务:通过动态调用公司系统和 API,构建能够执行复杂业务任务(从预订旅行和处理保险索赔到制作广告活动、准备纳税申报和管理库存)的代理。Amazon Bedrock 的完全托管代理扩展了 FM 的推理能力,可以分解任务、创建编排计划并执行该计划。
- 对 RAG 的本机支持,以利用专有数据扩展 FM 的功能:借助 Amazon Bedrock 知识库,您可以安全地将 FM 连接到您的数据来源,以便在托管服务中增强检索,从而扩展 FM 本已强大的功能,使其更了解您的特定领域和组织。
- 数据安全性和合规性认证:Amazon Bedrock 提供了多种支持安全和隐私要求的功能。Amazon Bedrock 符合服务和组织控制(SOC)、国际标准化组织(ISO)等常见合规标准,遵守《健康保险流通与责任法案》(HIPAA)的规定,可以确保客户在使用 Amazon Bedrock 的同时遵守《通用数据保护条例》(GDPR)。Amazon Bedrock 已获得 CSA 安全信任保障和风险(STAR)2 级认证,该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中,您的内容不会用于改进基本模型,也不会与任何模型提供商共享。您在 Amazon Bedrock 中的数据在传输和静态时始终处于加密状态,您可以选择使用自己的密钥对数据进行加密。您可以将 AWS PrivateLink 与 Amazon Bedrock 配合使用,在 FM 和您的 Amazon Virtual Private Cloud (Amazon VPC) 之间建立专用连接,而无需将流量暴露到互联网。
如何开始使用 Amazon Bedrock?
借助 Amazon Bedrock 的无服务器体验,您可以快速入门。在 AWS 管理控制台中导航到 Amazon Bedrock,在测试环境中试用基础模型。您也可以创建代理并在控制台中对其进行测试。确定用例后,您可以使用 AWS 工具轻松地将 FM 集成到您的应用程序中,而无需管理任何基础设施。
Amazon Bedrock 入门课程链接
Amazon Bedrock 用户指南链接
Amazon Bedrock 如何与其他服务配合使用?
Amazon Bedrock 可搭配 AWS Lambda 调用操作,利用 Amazon S3 训练和验证数据,并使用 Amazon CloudWatch 跟踪指标。
Amazon Bedrock 最常见的使用案例有哪些?
您可以通过应用场景快速入门:
- 创建新的原创内容,例如短篇小说、散文、社交媒体帖子和网页素材。
- 搜索、查找和合成信息,以回答来自大量数据语料库的问题。
- 根据语言提示创建各种主题、环境和场景的现实和艺术图像。
- 通过比单词匹配更具相关性的情境式产品推荐,帮助买家找到他们想要的东西。
- 获取文章、博客文章、书籍和文档等文本内容的摘要,无需阅读完整内容即可获得要点。
- 推荐符合购物者偏好和过去购买记录的产品
探索更多生成式人工智能使用案例。
什么是 Amazon Bedrock 游戏平台?
Amazon Bedrock 提供了一个平台,允许您使用对话式聊天界面尝试各种各样的 FM。您可以提供提示,或使用控制台内的 Web 界面来提供提示,然后使用预训练的模型生成文本或图像,或者,您也可以使用针对您的应用场景进行了调整的微调模型。
Amazon Bedrock 在哪些 AWS 区域可用?
有关可使用 Amazon Bedrock 的 AWS 区域的列表,请参阅《Amazon Bedrock 参考指南》中的 Amazon Bedrock 端点和配额。
如何在 Amazon Bedrock 上自定义模型?
您可以使用标记数据轻松地在 Amazon Bedrock 上微调 FM,也可以通过持续的预训练功能,使用未标记数据自定义模型。首先,提供训练和验证数据集,配置超参数(周期、批量大小、学习率、预热步骤)并提交作业。在几个小时内,您可以使用相同的 API(InvokeModel)访问经过微调的模型。
我能否训练模型并将其部署到 Amazon Bedrock 上?
是的,您可以训练选定的公开可用模型,然后使用自定义模型导入功能将其导入 Amazon Bedrock。目前该功能仅支持 Llama 2/3、Mistral 和 Flan 架构。有关更多信息,请参阅文档。
什么是 Amazon Bedrock 中的延迟优化推理?
Amazon Bedrock 中的延迟优化推理已推出公开预览版,可在不影响准确性的前提下减少延迟。经过 Anthropic 验证,Claude 3.5 Haiku 在 Amazon Bedrock 上进行了延迟优化推理,在 AWS 上的运行速度比其他任何地方都快。此外,借助 Bedrock 中的延迟优化推理,Llama 3.1 70B 和 405B 在 AWS 上的运行速度比任何其他主要云提供商都要快。借助 Amazon Bedrock 中的 AWS Trainium2 等专用人工智能芯片和高级软件优化功能,客户可以通过更多选项来优化针对特定应用场景的推理。
主要特征:
- 缩短基础模型交互的响应时间
- 在提高速度的同时保持准确性
- 无需额外的设置或模型微调
支持的模型:Anthropic 的 Claude 3.5 Haiku 以及 Meta 的 Llama 3.1 模型 405B 和 70B
可用性:通过跨区域推理得出的美国东部(俄亥俄州)区域
要开始使用,请访问 Amazon Bedrock 控制台。有关更多信息,请访问 Amazon Bedrock 文档。
如何开始使用 Amazon Bedrock 中的延迟优化推理?
访问 Amazon Bedrock 中的延迟优化推理不需要额外的设置或模型微调,即可立即增强现有的生成式人工智能应用程序,缩短响应时间。在调用 Bedrock 推理 API 时,可以启用“延迟优化”参数。
要开始使用,请访问 Amazon Bedrock 控制台。有关更多信息,请访问 Amazon Bedrock 文档。
代理
Amazon Bedrock 代理是什么?
Amazon Bedrock 代理是一种完全托管的功能,可让开发人员更轻松地创建基于生成式人工智能的应用程序,这些应用程序可以完成各种应用场景的复杂任务,并根据专有知识来源提供最新答案。只需几个步骤,Amazon Bedrock 代理即可自动分解任务并创建编排计划,无需任何手动编码。该代理通过 API 安全地连接到公司数据,自动将数据转换为机器可读格式,并在请求中添加相关信息以生成最准确的响应。然后,代理可以自动调用 API 来满足用户的请求。例如,一家制造公司可能想要开发一款生成式人工智能应用程序,该应用程序可以自动跟踪库存水平、销售数据、供应链信息,还可以推荐最佳的再订购点和数量,以最大限度地提高效率。作为完全托管式功能,Amazon Bedrock 代理消除了管理系统集成和基础设施预置的无差别工作,使开发人员能够在整个组织中最大限度地使用生成式人工智能。
如何将 FM 连接到我公司的数据来源?
您可以使用 Amazon Bedrock 代理将 FM 安全地连接到您公司的数据来源。利用知识库,您可以使用代理让 Amazon Bedrock 中的 FM 访问更多数据,从而帮助模型生成更相关、更符合特定情境且更准确的响应,而无需持续重新训练 FM。根据用户输入,代理可以识别相应的知识库,检索相关信息,并将信息添加到输入提示中,从而为模型提供更多上下文信息以生成补全。
Amazon Bedrock 代理有哪些应用场景?
Amazon Bedrock 代理可以帮助您提高工作效率、改善客户服务体验并自动化工作流程(例如处理保险索赔)。
Amazon Bedrock 代理如何帮助提高开发人员的工作效率?
借助代理,开发人员无需编写自定义代码即可无缝支持监控、加密、用户权限、版本控制和 API 调用管理。Amazon Bedrock 代理可以自动对用户请求的任务进行提示工程设计和编排。开发人员可以使用代理创建的提示模板作为基准,进一步完善它,以增强用户体验。他们可以更新用户输入、编排计划和 FM 响应。通过访问提示模板,开发人员可以更好地控制代理编排。
使用完全托管的代理,您不必担心预置或管理基础设施,并且可以更快地将应用程序投入生产。
安全性
Amazon Bedrock 处理的内容是否会移出我使用 Amazon Bedrock 所在的 AWS 区域之外?
Amazon Bedrock 处理的任何客户内容都会被加密,并静态存储在您使用 Amazon Bedrock 所在的 AWS 区域中。
用户输入和模型输出是否提供给第三方模型提供商?
不。用户输入和模型输出不会与任何模型提供商共享。
Amazon Bedrock 支持哪些安全与合规标准?
Amazon Bedrock 提供多种支持安全和隐私要求的功能。Amazon Bedrock 符合 Fedramp Moderate、服务和组织控制(SOC)、国际标准化组织(ISO)、健康保险流通与责任法案(HIPAA)等常见合规标准,客户可以在符合《通用数据保护条例》(GDPR)的情况下使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 报告的范围内,使客户能够深入了解我们的安全控制措施。我们通过对我们的 AWS 控制进行广泛的第三方审核来证明合规性。Amazon Bedrock 是符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 标准的 AWS 服务之一。Amazon Bedrock 已获得 CSA 安全信任保障和风险(STAR)2 级认证,该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中,您的内容不会用于改进基本模型,也不会与任何模型提供商共享。您可以使用 AWS PrivateLink 建立从 Amazon VPC 到 Amazon Bedrock 的私有连接,而无需将数据暴露给互联网流量。
AWS 和第三方模型提供商是否会使用 Amazon Bedrock 的客户输入或输出来训练 Amazon Titan 或任何第三方模型?
不会,AWS 和第三方模型提供商不会使用 Amazon Bedrock 的任何输入或输出来训练 Amazon Titan 或任何第三方模型。
SDK
Amazon Bedrock 支持哪些软件开发工具包?
Amazon Bedrock 支持运行时系统服务的软件开发工具包。iOS 和安卓软件开发工具包以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 同时支持文本和语音输入。
哪些 SDK 支持流媒体功能?
所有 SDK 都支持流式传输。
账单和支持
Amazon Bedrock 如何收费?
有关最新定价信息,请参阅 Amazon Bedrock 定价页面。
为 Amazon Bedrock 提供什么支持?
根据您签订的 AWS Support 合同,Amazon Bedrock 可以获得开发人员支持计划、商业支持计划和企业支持计划的支持。
如何跟踪输入和输出令牌?
您可以使用 CloudWatch 指标来跟踪输入和输出令牌。
自定义
Amazon Bedrock 是否支持持续预训练?
我们在 Amazon Bedrock 上启动了 Amazon Titan Text Express 和 Amazon Titan 模型的持续预训练。持续预训练允许您使用大量未标记的数据持续在 Amazon Titan 基础模型上进行预训练。这种类型的训练将使模型从通用领域语料库调整为更具体领域(例如医学、法律、金融等)的语料库,同时仍然保留 Amazon Titan 基础模型的大部分功能。
为什么要在 Amazon Bedrock 中使用持续预训练?
企业可能希望为特定领域的任务构建模型。基本模型可能没有根据该特定领域中使用的技术术语进行训练。因此,直接对基础模型进行微调需要大量标记的训练记录和较长的训练时间才能得到准确的结果。为了减轻这种负担,客户可以改而为持续预训练作业提供大量未标记的数据。这项工作将使 Amazon Titan 基础模型适应新领域。然后,客户可以通过数量少得多的标记训练记录和更短的训练持续时间,根据下游任务微调新的预训练自定义模型。
持续预训练功能与其他 AWS 服务有何关系?
Amazon Bedrock 持续预训练和微调具有非常相似的要求。出于这个原因,我们选择创建同时支持持续预训练和微调的统一 API。API 的统一缩短了学习曲线,并有助于客户使用标准功能,例如用于跟踪长时间运行的作业的 Amazon EventBridge、用于获取训练数据的 Amazon S3 集成、资源标签和模型加密。
如何使用持续预训练?
持续预训练可以帮助您根据特定领域的数据调整 Amazon Titan 模型,同时保留 Amazon Titan 模型的基本功能。要创建持续预训练作业,请导航到 Amazon Bedrock 控制台并单击“自定义模型”。 您将导航到包含两个选项卡的自定义模型页面:模型和训练作业。这两个选项卡都在右侧提供了“自定义模型”下拉菜单。从下拉菜单中选择“持续预训练”,导航至“创建持续预训练作业”。 您需要提供源模型、名称、模型加密、输入数据、超参数和输出数据。此外,您还可以提供标签以及有关作业的 AWS Identity and Access Management(IAM)角色和资源策略的详细信息。
Amazon Titan
什么是 Amazon Titan 模型?
Amazon Bedrock 独有的 Amazon Titan 系列模型融合了 Amazon 25 年来在业务范围内积累的人工智能和机器学习创新的经验。Amazon Titan 基础模型通过完全托管的 API 为客户提供广泛的高性能图像、多模式和文本模型选择。Amazon Titan 模型由 AWS 创建并在大型数据集上进行预训练,使其成为强大的通用模型,旨在支持各种用例,同时还支持负责任地使用 AI。您可以按原样使用,也可以根据自己的数据私下进行自定义。了解有关 Amazon Titan 的更多信息。
在哪里可以了解为开发和训练 Amazon Titan FM 而处理的数据的更多相关信息?
要了解为开发和训练 Amazon Titan FM 而处理的数据的更多相关信息,请访问 Amazon Titan 模型训练和隐私页面。
知识库/RAG
可以将哪些数据来源连接到 Amazon Bedrock 知识库?
您可以从 Web、Amazon Simple Storage Service(Amazon S3)、Confluence(预览版)、Salesforce(预览版)和 SharePoint(预览版)等各种来源摄取内容。您还能以编程方式从不支持的来源摄取流数据或数据。您也可以连接到结构化数据来源,例如 Redshift 数据仓库和 AWS Glue Data Catalog。
Amazon Bedrock 知识库如何从结构化数据来源检索数据?
Amazon Bedrock 知识库提供托管自然语言到 SQL 的转换功能,可将自然语言转换为可操作的 SQL 查询并检索数据,让您可以使用这些来源的数据构建应用程序。
Amazon Bedrock 知识库是否支持多向对话?
是。会话上下文管理是内置功能,允许应用程序在多个交互中维持上下文,这对于支持多向对话至关重要。
Amazon Bedrock 知识库是否为检索到的信息提供来源归因?
是。检索到的所有信息都包含引文,不仅提高了透明度,还最大程度降低了生成的响应中出现幻觉的风险。
Amazon Bedrock 知识库提供哪些多模态功能?
Amazon Bedrock 知识库支持多模态数据处理,让开发人员构建的生成式人工智能应用程序能够分析文本和视觉数据,包括图像、图表、示意图和表格。除文本外,模型响应还可以利用来自视觉元素的见解,提供更准确且与上下文相关的答案。此外,响应的来源归因包括视觉元素,提高了响应的透明度和信任度。
Amazon Bedrock 知识库支持哪些多模态数据格式?
Amazon Bedrock 知识库可以处理 PDF 格式的视觉效果丰富的文档,即便其中可能包含图像、表格、图表和示意图,也不在话下。对于纯图像数据,Bedrock 知识库支持 JPEG 和 PNG 等标准图像格式,支持搜索功能,便于用户根据基于文本的查询检索相关图像。
Amazon Bedrock 知识库中有哪些不同的解析选项?
客户可以使用三种 Bedrock 知识库解析选项。对于纯文本处理,内置的默认 Bedrock 解析器无需额外付费,非常适合不需要多模态数据处理的情况。Amazon Bedrock Data Automation(BDA)或基础模型可用于解析多模态数据。有关更多信息,请参阅产品文档。
Amazon Bedrock 知识库如何确保数据安全并管理工作流的复杂性?
Amazon Bedrock 知识库会处理各种复杂的工作流,例如内容比较、故障处理、吞吐量控制和加密,确保您的数据按照 AWS 严格的安全标准得到安全处理和管理。
模型评估
什么是 Amazon Bedrock 上的模型评估?
借助 Amazon Bedrock 上的模型评估,只需几个简短的步骤即可针对您的使用案例评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以使用带有预定义指标(例如准确性、稳定性和毒性)的自动评估。您可以使用人工评估工作流程来评估主观或自定义指标,例如友好度、风格和与品牌声音的一致性。对于人工评估,您可以使用内部员工或 AWS 管理的团队作为评审者。Amazon Bedrock 上的模型评估提供内置的精选数据集,或者您可以自带数据集。
我可以根据哪些指标来评估 FM?
您可以使用自动评估来评估各种预定义指标,例如准确性、稳健性和毒性。您还可以使用人工评估工作流程来衡量主观或自定义指标,例如友好度、相关性、风格以及与品牌声音的一致性。
人工评估和自动评估有什么区别?
自动评估使您能够根据标准标准(例如准确性、毒性和稳健性)快速缩小可用 FM 的列表范围。人工评估通常用于评估需要人类判断,并且可能无法自动评估的更细致或主观的标准(例如品牌声音、创意意图、友好度)。
自动评估是如何工作的?
您可以使用精选的内置数据集或引入您自己的提示数据集,快速评估 Amazon Bedrock 模型的准确性、稳健性和毒性等指标。将提示数据集发送到 Amazon Bedrock 模型进行推理后,将使用每个维度的评估算法对模型响应进行评分。后端引擎将个人即时响应分数汇总为汇总分数,并通过易于理解的可视化报告呈现。
人工评估是如何工作的?
Amazon Bedrock 让您只需几个简短的步骤即可设置人工审核工作流程,并可以通过内部员工或利用 AWS 管理的专家团队来评估模型。通过 Amazon Bedrock 的直观界面,人们可以通过点击向上或向下按钮、按 1-5 的等级评分、选择多个响应中的最佳选项或排名提示来查看模型响应并提供反馈。例如,可以向团队成员展示两个模型如何响应相同的提示,然后要求他们选择显示更准确、相关或风格化输出的模型。通过自定义团队评估 UI 上显示的说明和按钮,可以指定对您而言重要的评估标准。您还可以提供带有示例的详细说明以及模型评估的总体目标,以便用户可以相应地调整他们的工作。此方法可用于评估需要人类判断或更细致的主题专业知识且无法通过自动评估轻松判断的主观标准。
负责任的人工智能
什么是 Amazon Bedrock 防护机制?
Amazon Bedrock 防护机制可帮助您根据使用案例和负责任的人工智能策略为生成式人工智能应用程序实施保护措施。防护机制通过过滤不良和有害内容来帮助控制用户和基础模型之间的交互,并将快速编辑个人身份信息(PII),从而增强生成式人工智能应用程序中的内容安全和隐私。您可以针对特定用例创建多个具有不同配置的防护机制。此外,借助防护机制,您还可以持续监控和分析可能违反客户定义策略的用户输入和基础模型响应。
Amazon Bedrock 防护机制中有哪些保障措施?
防护机制帮助您定义一组策略来帮助保护您的生成式人工智能应用程序。您可以在防护机制中配置以下策略。
- 情境化基础检查:如果源信息中的响应不合理(例如事实上不准确或新信息)以及与用户查询或指令无关,则可以帮助检测和筛除幻觉。
- 自动推理检查:通过对照称为自动推理策略的结构化知识数学表示形式进行检查,帮助检测所生成内容中的事实性错误,提出更正建议,并解释响应为何准确无误。
- 内容过滤器:帮助您配置阈值来检测并过滤各种类别的有害文本内容,例如仇恨、侮辱、性、暴力、不当行为和提示攻击。此外,内容过滤器可以检测并过滤这些类别中的有害图像内容,帮助构建安全的多模态应用程序。
- 被拒绝的主题:帮助您定义一组在应用程序上下文中不合乎需要的主题。例如,可以将网上银行助理设计为不提供投资建议。
- 字词筛选条件:帮助您定义一组字词来阻止用户输入和 FM 生成的响应。
- 敏感信息过滤器:帮助您对敏感信息做出反应,例如一组可以在 FM 生成的响应中编辑的 PII。根据用例,防护机制还可以帮助您屏蔽包含 PII 的用户输入。
我可以将防护机制与 Amazon Bedrock 上所有可用的 FM 和工具一起使用吗?
Amazon Bedrock 防护机制适用于多种模型,包括 Amazon Bedrock 支持的 FM、经过微调的模型以及 Amazon Bedrock 之外的自托管模型。可以使用 ApplyGuardrail API 独立评估第三方和自托管模型的用户输入和模型输出。Amazon Bedrock 防护机制还可以与 Amazon Bedrock 代理和 Amazon Bedrock 知识库集成,进而构建符合负责任的人工智能策略的安全生成式人工智能应用程序。
AWS 是否为其生成式人工智能服务提供涵盖版权索赔的知识产权赔偿?
AWS 为因以下正式推出的 Amazon 生成式人工智能服务的生成式输出而产生的版权索赔提供无上限的知识产权(IP)赔偿:Amazon Titan 模型和服务条款第 50.10 条中列出的其他服务(“享受赔偿的生成式人工智能服务”)。这意味着客户可以免受指控享受赔偿的生成式人工智能服务为响应客户提供的输入或其他数据而生成的输出侵犯版权的第三方索赔影响。客户仍然必须负责任地使用服务,例如不输入侵权数据或禁用服务的筛选功能。
您是否有现成的(内置)防护机制列表,可以自定义哪些内容?
有五种防护机制策略,每种策略都有不同的现成保护措施
- 内容过滤器 — 有 6 个现成的类别:仇恨、侮辱、性、暴力、不当行为(包括犯罪活动)和即时攻击(越狱和即时注入)。每个类别均可根据过滤的严格程度进一步自定义阈值,对文本和图像内容来说,程度分为低/中/高。
- 被拒绝的主题 — 这是客户可以使用简单的自然语言描述定义的自定义主题
- 敏感信息过滤器 — 此策略带有 30 多个现成的 PII。可以通过添加客户的敏感专有信息进一步自定义。
- 文字过滤器 — 此策略带有现成的脏话过滤功能,可以使用自定义词语进一步自定义。
- 情境化基础检查 — 它有助于检测 RAG、摘要和对话应用程序的幻觉,其中源信息可用作验证模型响应的参考。
您是否有现成的(内置)防护机制列表,可以自定义哪些内容?
有五种防护机制策略,每种策略都有不同的现成保护措施
- 内容过滤器 — 有 6 个现成的类别:仇恨、侮辱、性、暴力、不当行为(包括犯罪活动)和即时攻击(越狱和即时注入)。每个类别均可根据过滤的严格程度进一步自定义阈值 — 低/中/高。
- 被拒绝的主题 — 这是客户可以使用简单的自然语言描述定义的自定义主题
- 敏感信息过滤器 — 此策略带有 30 多个现成的 PII。可以通过添加客户的敏感专有信息进一步自定义。
- 文字过滤器 — 此策略带有现成的脏话过滤功能,可以使用自定义词语进一步自定义。
- 情境化基础检查 — 它有助于检测 RAG、摘要和对话应用程序的幻觉,其中源信息可用作验证模型响应的参考。
默认防护机制是否会自动检测社会保险号码或电话号码?
基础模型具有原生防护措施,它们是与每个模型相关的默认保护措施。这些原生防护措施不是 Amazon Bedrock 防护机制的一部分。Amazon Bedrock 防护机制是一层额外的定制防护措施,客户可以根据其应用要求和负责任的人工智能策略选择应用这些防护措施。
作为 Amazon Bedrock 防护机制的一部分,SSN 和电话号码检测是 30 多个现成 PII 的一部分。如需完整列表,请访问此处。
客户构建定制 Amazon Bedrock 防护机制是否需要单独付费? 而且输入和输出都需要支付此费用?
使用 Amazon Bedrock 防护机制需要单独付费。输入和输出都需要付费。定价请见此处页面底部。带有内容过滤器的图像支持(目前为公开预览版)的定价将在正式推出(GA)期间公布。
客户构建定制 Amazon Bedrock 防护机制是否需要单独付费? 而且输入和输出都需要支付此费用?
使用 Amazon Bedrock 防护机制需要单独付费。输入和输出都需要付费。定价请见此处页面底部。
客户能否对其设置的防护机制的有效性进行自动化测试? 是否有用于持续监控的“测试用例生成器”(记者的术语)?
有,Amazon Bedrock 防护机制 API 可以帮助客户进行自动测试。在生产环境中部署防护机制之前,您可能想要使用“测试用例生成器”。目前还没有原生的测试用例生成器。为了持续监控生产流量,防护机制会为每个输入和输出提供所有违例的详细日志,这样,客户就可以精细地监控来自其生成式人工智能应用程序的每个输入。这些日志可以存储在 CloudWatch 或 S3 中,并且可以使用这些日志,根据客户的要求创建自定义仪表板。
使用自动推理检查进行验证与使用情境化基础检查进行验证有何不同?
自动推理检查使用了自动推理策略,可以指出内容中的准确主张和事实性错误。对于准确和不准确的陈述,自动推理检查为其输出提供可验证的逻辑解释。自动推理检查需要域专家的预先参与才能制定策略,并且只支持能定义规则的内容。另一方面,Bedrock 防护机制中的情境化基础检查使用机器学习技术来确保生成的内容严格遵循作为知识库输入提供的文档,无需任何额外的前期工作。自动推理检查和情境化基础检查都在防护机制 API 输出中提供反馈。您可以使用反馈来更新生成的内容。
Marketplace
什么是 Amazon Bedrock Marketplace?
除了 Amazon Bedrock 的无服务器 FM,Amazon Bedrock Marketplace 还为客户提供 100 多种热门新兴的专业模型,让客户可以轻松构建并优化自己的生成式人工智能应用程序。在 Amazon Bedrock 控制台中,客户能够发现各种提供商提供的广泛的 FM 目录。然后,您可以将这些模型部署到完全托管的端点上,然后在其中选择所需的实例数量和实例类型。部署模型后,即可通过 Amazon Bedrock 的调用 API 访问模型。对于经过聊天调整的文本到文本模型,客户可以使用我们的全新 Converse API。这是一种统一的 API,可抽象出 FM 差异,只需更改一个参数即可实现模型切换。在适用的情况下,这些模型可用于 Amazon Bedrock 游戏平台、代理、知识库、提示管理器、提示工作流、防护机制和模型评测。
为什么应该使用 Amazon Bedrock Marketplace?
随着生成式人工智能行业不断创新,许多强大模型迅速涌现,所以您应该使用 Amazon Bedrock Marketplace 从这些模型中受益。您可以快速访问并部署根据自己独特要求量身定制的热门新兴的专业模型,这有助于缩短产品上市时间、提高准确性或降低生成式人工智能工作流的成本。您可以通过 Bedrock 的统一 API 访问这些模型,如果这些模型与 Bedrock 的 Converse API 兼容,则可以在本地将其与代理、知识库和防护机制等 Bedrock 工具一起使用。您可以从一处轻松地将 Amazon Bedrock Marketplace 连接到 Amazon Bedrock 的无服务器模型。
如何开始使用 Amazon Bedrock Marketplace?
只需在 Bedrock 控制台中导航到“Amazon Bedrock 模型目录”页面,您就可以在其中搜索 Amazon Bedrock Marketplace 模型列表以及无服务器 Amazon Bedrock 模型。选择要使用的 Amazon Bedrock Marketplace 模型后,您就可以通过“模型详细信息”页面订阅该模型,接受供应商设定的最终用户许可协议(EULA)和相应价格。完成订阅后(通常只需几分钟),点击“模型详细信息”页面中的“部署”或使用 API,即可将模型部署到完全托管的 SageMaker 端点。在部署步骤中,您可以选择所需的实例数量和实例类型来满足自己的工作负载。设置端点后(通常只需 10 到 15 分钟),您可以开始对端点进行推理调用,并在 Bedrock 的高级工具中使用该模型,前提是该模型与 Bedrock 的 Converse API 兼容。
是否可以微调 Amazon Bedrock Marketplace 模型?
具有“自定义模型导入”支持的架构的模型(Mistral、Mixtral、Flan 和 Llama2/3/3.1/3.2)可以在 SageMaker 中进行微调,也可以通过“自定义模型导入”在 Amazon Bedrock 中推出。“自定义模型导入”不支持的模型仍可以在 SageMaker 中进行微调。不过,这些模型的微调版本不能在 Amazon Bedrock 中使用。
数据自动化
什么是 Bedrock Data Automation?
什么是 Bedrock Data Automation? Amazon Bedrock Data Automation 是 Bedrock 的一项功能,由 GenAI 技术提供支持,既可简化生成式人工智能应用程序的开发,又可实现涉及文档、图像、音频和视频的工作流自动化。利用 Bedrock Data Automation,开发人员可以减少投注在开发上的时间和精力,从而更轻松地构建智能文档处理、媒体分析和其他以多模态数据为中心的自动化解决方案。与其他解决方案相比,Bedrock Data Automation 能够以更低的成本实现业界领先的准确性,同时还提供其他功能,例如通过带有置信度分数的视觉定位功能实现可解释性,以及内置的幻觉缓解功能。这可确保从非结构化的多模态数据来源获得可信且准确的见解。客户可以轻松自定义 Bedrock Data Automation 输出,以系统和应用程序所需的一致格式生成具体的见解。开发人员开始在 Amazon Bedrock 控制台上使用 Bedrock Data Automation,也可在其中使用示例数据配置和自定义输出。然后,他们可以将 Bedrock Data Automation 的统一多模态推理 API 集成到应用程序中,以高准确性和一致性在生产中大规模处理非结构化内容。Bedrock Data Automation 还与 Bedrock 知识库集成,让开发人员可以更轻松地从自己非结构化多模态内容中生成有意义的信息,从而提供更相关的检索增强生成(RAG)响应。
为什么要使用 Bedrock Data Automation?
Bedrock Data Automation 可以轻松地将非结构化企业数据转换为应用程序特定的输出格式,可供生成式人工智能应用程序和 ETL 工作流使用。客户不再需要花费时间精力来管理和协调多个模型、设计制作提示、实施安全防护机制,或者为了满足下游系统要求而将输出拼接在一起。Bedrock Data Automation 为非结构化数据提供高度准确、一致且经济实惠的处理功能。 Bedrock Data Automation 在构建时考虑了负责任的人工智能,为客户提供视觉定位和置信度分数等关键功能,让您可以轻松地将 Bedrock Data Automation 集成到企业工作流中。
Amazon Bedrock Data Automation 代表我管理哪些内容?
Bedrock Data Automation 的各项功能可通过完全托管的 API 获得,方便客户轻松地将其集成到他们的应用程序中。客户无需担心扩展底层计算资源、选择和编排模型或管理 FM 提示等问题。
什么是蓝图?
蓝图是客户使用自然语言或架构编辑器来指定其输出要求的功能。其中包括他们想要提取的字段列表、每个字段的数据格式以及每个字段的自然语言指令。例如,开发人员可以键入“使用以下字段为发票创建蓝图:tax、dueDate、ReceiptDate”或“确认发票总额与订单项目总额相匹配”。 开发人员将蓝图作为推理 API 调用的一部分参考,以便系统以蓝图中描述的格式返回信息。
Amazon Bedrock Data Automation 每种模态支持哪些功能和文件格式
文档
Bedrock Data Automation 支持文档的标准输出和自定义输出。
- 标准输出将提供从文档中提取文本和生成式输出,例如文档摘要和表格/图形/图表的标题。输出按阅读顺序返回,可以选择按布局元素(包括页眉/页脚/标题/表格/图形/图表)进行分组。标准输出将用于 BDA 与 Bedrock 知识库的集成。
- 自定义输出会利用蓝图,蓝图则会使用自然语言或架构编辑器指定输出要求。蓝图包含待提取字段的列表和每个字段的数据格式。
Bedrock Data Automation 将支持 PDF、PNG、JPG、TIFF 格式,最多 100 页,每个 API 请求 500 MB 的最大文件大小。BDA 将支持 5 个文档包的最大并发数和每位客户每秒 1 页的吞吐量。
映像
Bedrock Data Automation 支持图像的标准输出和自定义输出。
- 标准输出将提供摘要、检测到的露骨内容、检测到的文本以及 IAB 图像广告分类。标准输出将用于 BDA 与 Bedrock 知识库的集成。
- 自定义输出会利用蓝图,蓝图则会使用自然语言或架构编辑器指定输出要求。蓝图包含待提取字段的列表和每个字段的数据格式。
Bedrock Data Automation 将支持 JPG、PNG 格式,最大分辨率为 4K,每个 API 请求 5 MB 的最大文件大小。BDA 将以每位客户每秒处理 1 张图像的速度支持 100 张图像的最大并发数。
视频
Bedrock Data Automation 支持视频标准输出。
- 标准输出将提供完整的视频摘要、场景分割、场景摘要、完整的音频转录、说话人识别、检测到的露骨内容、检测到的文本以及互动广告局(IAB)的视频广告分类。完整视频摘要针对含描述性对话的内容进行了优化,例如产品概述、培训、新闻广播和纪录片。
Bedrock Data Automation 将支持采用 H.264 的 MOV 和 MKV,时长最长 4 小时的视频,每个 API 请求 2 GB 的最大文件大小。BDA 将以每位客户每分钟处理 20 分钟视频的速度支持 25 个视频的最大并发数。
音频
Bedrock Data Automation 支持音频标准输出。
- 标准输出将提供音频文件摘要、完整转录和检测到的露骨内容。
Bedrock Data Automation 将支持 FLAC、M4A、MP3、MP4、Ogg、WebM、WAV 格式,时长最长 4 小时的音频,每个 API 请求 2 GB 的最大文件大小。标准输出将提供音频文件摘要、完整转录和检测到的露骨内容。
Amazon Bedrock Data Automation 已在哪些 AWS 区域推出?
Amazon Bedrock Data Automation 目前已在美国西部(俄勒冈州)区域推出。
IDE
什么是 Amazon Bedrock IDE(预览版)?
Amazon Bedrock IDE(预览版)是集成在 Amazon SageMaker Unified Studio(预览版)中的受控协作环境,让开发人员能够使用高性能基础模型(FM)快速构建并迭代生成式人工智能应用程序。该环境提供了一个直观的界面来试验这些模型、协作开展项目、简化对各种 Bedrock 工具和资源的访问,以便快速构建生成式人工智能应用程序。
如何通过 Amazon SageMaker Unified Studio(预览版)访问 Amazon Bedrock IDE(预览版)?
要在 Amazon SageMaker Unified Studio 中访问 Amazon Bedrock IDE,开发人员及其管理员需要按以下步骤操作:
- 在 Amazon SageMaker Unified Studio 中创建一个新域。
- 启用生成式人工智能应用程序开发项目配置文件。
- 在 Amazon SageMaker Unified Studio 中使用自己公司的单点登录(SSO)凭证访问 Amazon Bedrock IDE。
Amazon SageMaker Unified Studio 中 Amazon Bedrock IDE 的主要特征和功能是什么? 该环境与 Amazon Bedrock Studio(预览版)有何不同?
Amazon Bedrock IDE 在 Amazon Bedrock Studio(预览版)的基础上构建,现已集成到 Amazon SageMaker Unified Studio 中,进行了多项关键改进。该环境提供对领先公司高级人工智能模型的访问、用于创建和测试人工智能提示的工具,以及与 Bedrock 知识库、防护机制、工作流和代理的无缝集成。团队可以在共享工作区中协作,根据自身需求构建自定义人工智能应用程序。
Bedrock IDE 的新功能包括用于并排人工智能模型比较的模型中心,支持聊天、图像和视频交互的扩展游戏平台,以及通过 Web 爬取改进的知识库创建。该环境为更复杂的聊天应用程序引入了座席创建功能,也简化了组织内人工智能应用程序和提示的共享。Bedrock IDE 还提供对底层应用程序代码的访问以及将聊天应用程序导出为 CloudFormation 模板的功能。通过管理 AWS 基础设施的详细信息,不同技能水平的用户都能够更高效地创建人工智能应用程序,使之成为比前身更通用、更强大的工具。
Amazon Bedrock IDE 如何支持组织内的各团队开展协作?
Amazon Bedrock IDE 通过在 Amazon SageMaker Unified Studio 内提供受控的开发环境,实现团队之间的协作。团队可以创建项目,邀请同事,协作构建生成式人工智能应用程序。他们可以快速收到有关其原型的反馈,并与 Amazon SageMaker Unified Studio 中的任何人或域中的特定用户共享应用程序。强大的访问控制和治理功能仅允许授权成员访问数据或生成式人工智能应用程序等项目资源,从而支持数据隐私和合规,促进安全的跨职能协作和共享。此外,生成式人工智能应用程序可以由构建者共享给 Amazon SageMaker Unified Studio 域中的特定用户,也可与特定个人共享,从而允许以设置适当访问权限的方式来实现对此类资产的控制和治理。
为什么要将 Amazon Bedrock IDE 集成到 Amazon SageMaker Unified Studio 中?
Amazon Bedrock IDE 与 Amazon SageMaker Unified Studio 的集成代表了 AWS 为简化生成式人工智能开发所采取的措施。这种集成创建了一个全面的环境,打破了数据、工具和开发人员之间的障碍,实现了生成式人工智能应用程序的高效构建和部署。
统一的环境允许不同技能水平的开发人员在整个开发生命周期中进行无缝协作,从数据准备到模型开发,再到生成式人工智能应用程序构建,都是如此。团队可以访问集成工具,用于知识库创建、模型微调和高性能生成式人工智能应用程序开发,所有这些都在安全且受控的框架内完成。
在 Amazon SageMaker Unified Studio 中,开发人员可以根据自己的需求轻松地在不同的工具之间切换,将分析、机器学习和生成式人工智能功能整合到一个工作区中。这种整合方法降低了开发的复杂程度,缩短了生成式人工智能项目的价值实现时间。
通过将 Amazon Bedrock IDE 引入 Amazon SageMaker Unified Studio,AWS 降低了生成式人工智能开发的准入门槛,同时维护了企业级安全和治理,最终让组织能够利用生成式人工智能更快、更有效地进行创新。
通过 Amazon SageMaker Unified Studio 访问的 Amazon Bedrock IDE 与通过 AWS 管理控制台访问的 Amazon Bedrock Studio(预览版)有何不同?
目前,Amazon Bedrock Studio 作为预览版功能提供,可通过 AWS 管理控制台访问。现在,Amazon Bedrock Studio 已更名为 Amazon Bedrock IDE,且在 Amazon SageMaker Unified Studio 中提供预览版,为构建、评估和共享具有知识库、防护机制、代理、工作流和提示工程工具等高级功能的生成式人工智能应用程序提供了专用环境。跟 AWS 管理控制台中之前的预览版本相比,与 Amazon SageMaker Unified Studio 的集成提供了功能更丰富、受控程度更高的协作开发体验。
Amazon SageMaker Unified Studio 包含 Amazon Bedrock Studio 的哪些部分,只是游戏平台还是完整的开发体验? 我应该使用哪些部分,何时使用?
整个 Amazon Bedrock Studio 都是 Amazon Bedrock IDE 下 Amazon SageMaker Unified Studio 的一部分。生成式人工智能游戏平台位于 Amazon SageMaker Unified Studio 的“发现”部分,支持您通过对话界面试验基础模型(FM)和同事共享的任何生成式人工智能应用程序。Amazon Bedrock IDE 是完整的生成式人工智能应用程序环境,位于 Amazon SageMaker Unified Studio 的“构建”部分,可通过项目进行访问。
至于何时使用每种产品:
- AWS 管理控制台中现有的 Amazon Bedrock Studio:在 2025 年 2 月 28 日之前,您可以继续在 AWS 管理控制台中使用现有的 Amazon Bedrock Studio 开展正在进行的项目,此后支持将终止。您需要设置一个包含 Amazon Bedrock IDE 的新 Amazon SageMaker 域,才能在 Amazon SageMaker 的受控环境中访问该域。
- Amazon SageMaker Unified Studio 中的生成式人工智能游戏平台(“发现”部分):使用聊天、图像和视频游戏平台对 FM 进行初步实验,测试不同的模型和配置,然后在 Amazon Bedrock IDE 中构建应用程序。
- Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE(“构建”部分):借助“构建”部分中提供的 Amazon Bedrock IDE,利用高级功能来构建可用于生产的生成式人工智能应用程序。其中包括集成的治理、安全协作、知识库、代理、工作流、防护机制和提示工程工具。
Amazon Bedrock IDE 如何与 Amazon SageMaker Unified Studio 中的其他 AWS 服务集成来创建生成式人工智能应用程序?
Amazon Bedrock IDE 是一个受控的协作环境,专注于使用基础模型(FM)构建生成式人工智能应用程序。该环境集成在 Amazon SageMaker Unified Studio 中,提供了一个直观的界面来访问和试验 Bedrock 的高性能 FM,以及知识库、防护机制、代理和工作流等自定义工具。
在 Amazon SageMaker Unified Studio 中,Amazon Bedrock IDE 与 Amazon Bedrock 的分析、机器学习(ML)和生成式人工智能功能无缝集成。用户可以利用分析服务从数据中生成见解,使用 Amazon SageMaker AI 的训练和部署工具构建机器学习模型,并将这些组件与在 Amazon Bedrock IDE 中创建的生成式人工智能应用程序相结合。这种统一的环境支持数据驱动型应用程序的端到端开发,这样的应用程序结合了分析、机器学习和生成式人工智能功能。用户可以在相同的受控 Amazon SageMaker Unified Studio 环境中构建并部署机器学习和生成式人工智能模型,创建并共享根据专有数据和自定义项量身定制的生成式人工智能应用程序,也能简化协作
我目前通过 AWS 管理控制台访问 Amazon Bedrock Studio 的权限会发生什么变化?如何迁移到 Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE?
通过 AWS 管理控制台访问该服务的现有 Amazon Bedrock Studio 用户,无法直接将项目迁移到 Amazon SageMaker Unified Studio。要在 Amazon SageMaker 的受控环境中访问 Amazon Bedrock IDE,开发人员及其管理员需要在 Amazon SageMaker Unified Studio 中创建一个新域,启用生成式人工智能应用程序开发项目配置文件,并在 Amazon SageMaker Unified Studio 中使用自己公司的单点登录(SSO)凭证访问 Amazon Bedrock IDE。
不过,在 2025 年 2 月 28 日之前,现有用户可以继续通过 AWS 管理控制台访问 Amazon Bedrock Studio(预览版)。在此日期之后,现有用户则需要在 Amazon SageMaker Unified Studio 中过渡到新的 Amazon Bedrock IDE 体验。
Amazon Bedrock IDE 的使用是否存在任何限制或配额?
Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE 受为平台和基础 Amazon SageMaker 资源 [如基础模型(FM)、知识库、代理、工作流和防护机制] 定义的账户限制和配额的约束。
使用 Amazon Bedrock IDE 的定价和计费模型有哪些?
Amazon Bedrock IDE 不收取额外费用,用户只用为自己构建生成式人工智能应用程序时所使用的底层资源付费。例如,客户只需为他们在生成式人工智能应用程序中使用的关联模型、防护机制和知识库付费。有关更多信息,请访问 Amazon Bedrock 定价页面。
Amazon Bedrock IDE 的服务水平协议(SLA)是什么?
Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE 受与 Amazon Bedrock 相同的 SLA 约束。有关更多信息,请访问 Amazon Bedrock 服务水平协议页面。
Amazon Bedrock IDE 有哪些文档和支持资源可用?
为了在 Amazon SageMaker Unified Studio 中使用 Amazon Bedrock IDE 实现流畅的入门体验,您可以在 Amazon Bedrock IDE 用户指南中找到内容详细的文档。 如有其他问题或需要更多帮助,请随时联系 AWS 账户团队。