AWS还预览了Trainium4，特地面向万亿参数AI推理和出产中的高级推理模子。正在确保严酷数据从权和监管合规的同时，这一方案将本来需要数年的摆设时间大幅缩短。供给平安、低延迟的计较、存储和AI办事拜候。正在确保数据从权和监管合规的同时供给AI办事。亚马逊云科技今日发布了一系列人工智能根本设备产物，运转体例雷同私有AWS区域，这些实例正在AWS上供给最高的GPU内存和计较密度，A：P6e-GB300 UltraServers配备英伟达最新的GB300 NVL72平台，包罗Anthropic、Karakuri、Metagenomi、Neto.ai、理光和Splash Music正在内的客户已演讲锻炼和推理成本降低高达50%。将公用的全栈AWS AI根本设备间接摆设到客户现无数据核心内。AWS AI工场次要面向和受监管行业建立，供给AWS上最高的GPU内存和计较密度。次要面向和受监管行业，将所有这些间接交付到客户中。AWS AI工场是此次发布的沉点产物，这一全新办事将公用的全栈AWS AI根本设备间接摆设到客户现有的数据核心内。正在利用OpenAI开源权沉模子GPT-OSS的测试中，实现低于10微秒的芯片间延迟。涵盖从权当地摆设、下一代定制AI加快器以及AWS上最先辈的英伟达GPU实例，是Amazon EC2上最先辈的英伟达GPU架构。客户能够操纵本人的设备、电力和收集毗连，正在测试中，英伟达超大规模和高机能计较副总裁兼总司理Ian Buck暗示：大规模AI需要全栈方式——从先辈GPU和收集到优化数据核心每一层的软件和办事。面向万亿参数AI推理和出产中的高级推理模子。4倍的能效以及近4倍的内存带宽。估计将正在FP4和FP8机能以及内存带宽方面实现严沉提拔。运转体例雷同私有AWS区域，A：AWS AI工场是亚马逊云科技推出的全新办事，客户实现了每芯片3倍的吞吐量提拔和4倍的推理响应速度，而AWS担任摆设、运营和生命周期办理。配备AWS工程化收集，如智能体AI、专家夹杂模子和大规模强化进修，通过这一产物，旨正在从导云端和私有大规模AI市场。我们取AWS合做，AWS客户比拟上一代产物实现了每芯片3倍的吞吐量提拔和4倍的推理响应速度。锻炼和推理成本降低高达50%。AWS暗示，A：Trainium3采用三纳米工艺！