AWS Trainium

Trn2 UltraServers 和实例在 Amazon EC2 中为生成式人工智能训练和推理提供突破性的性能。每台 Trn2 UltraServer 都有 64 个 Trainium2 芯片，通过我们专有的芯片间互连技术 NeuronLink 进行互连，可提供高达每秒 83.2 千亿次浮点运算的 FP8 计算能力、6 TB 的 HBM3 和每秒 185 TB（TBps）的内存带宽以及每秒 12.8 TB（Tbps）的 Elastic Fabric Adapter（EFA）网络连接。每个 Trn2 实例有 16 个通过 NeuronLink 连接的 Trainium2 芯片，可提供高达每秒 20.8 千亿次浮点运算的 FP8 计算能力、1.5 TB 的 HBM3 和 46 TBps 的内存带宽以及 3.2 Tbps 的 EFA 网络连接。Trn1 实例采用多达 16 个 Trainium 芯片，提供高达每秒 3 千亿次浮点运算的 FP8 计算能力、512 GB HBM 和 9.8 TBps 的内存带宽以及高达 1.6 Tbps 的 EFA 网络连接。

AWS Neuron SDK 可帮助您从 Trn2 和 Trn1 实例中提取全部性能，以便您可以专注于构建和部署模型，加快产品上市时间。AWS Neuron 与 JAX、PyTorch 以及 Hugging Face、PyTorch Lightning 和 NeMo 等基本库原生集成。AWS Neuron 支持 Hugging Face 模型中心的 10 万多个模型，包括 Meta 的 Llama 系列模型和 Stable Diffusion XL 等常用模型。它能为分布式训练和推理优化开箱即用的模型，同时为分析和调试提供深入的见解。AWS Neuron 与 Amazon SageMaker、Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon Elastic Container Service（Amazon ECS）、AWS ParallelCluster 和 AWS Batch 等服务以及 Ray（Anyscale）、Domino Data Lab 和 Datadog 等第三方服务集成。

为了在实现精度目标的同时提供高性能，Trainium 芯片针对 FP32、TF32、BF16、FP16 和新的可配置 FP8（cFP8）数据类型进行了优化。为支持生成式人工智能的快速创新，Trainium2 对 4 倍稀疏性（16:4）、微缩放、随机舍入和专用集体引擎进行了硬件优化。

Neuron Kernel 接口（NKI）使用基于 Python 的环境和类似于 Triton 的界面，可直接访问指令集架构（ISA），让您能够创新性能优于现有技术的新模型架构和高度优化的计算内核。

Trn2 实例可实现的能效比 Trn1 实例高三倍。Trn1 实例的能效比同类加速计算 EC2 实例高出 25%。此类实例可帮助您在训练超大型模型时实现可持续发展目标。