AWS Machine Learning Blog· Kevin Shabahang·· 4 小时前AI 评分47
超越 KV cache：在 AWS Trainium2 上以原生 PyTorch 训练与部署 i14 Laplace 3B 线性注意力模型
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 后端将 Laplace 3B 线性注意力模型移植到 AWS Trainium2，其 GLA 循环状态固定为每序列 29.5 MB，不随上下文长度增长。
来源：AWS Machine Learning Blog · aws.amazon.com