快科技10月1日消息，布首倍AMD发布了自己的语言亿首个小语言模型(SLM)，名为“AMD-135M”。模型

相比于越来越庞大的推测提速大语言模型(LLM)，它体积小巧，解码更加灵活，布首倍更有针对性，语言亿非常适合私密性、模型专业性很强的推测提速企业部署。

AMD-135小模型隶属于Llama家族，布首倍有两个版本：

一是语言亿基础型“AMD-Llama-135M”，拥有多达6700亿个token，模型在八块Instinct MIM250 64GB加速器上训练了六天。推测提速

二是解码延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

创建与部署流程

它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

• ·《暗黑破坏神4》第六赛季“憎恨崛起”官网改动日志
• ·“超智融合”驶入快车道，2024中国算力大会超算互联网分论坛在郑州成功举行
• ·《超级猴子球 香蕉大乱斗》将与Dole进行联动 香蕉将变身为 Dole 联动活动专属样式！
• ·《冰汽时代2》上线预告片中文版 标准版21日发售
• ·Epic老大蒂姆·斯威尼再谈元宇宙：代表游戏的未来
• ·育碧称《星球大战：亡命之徒》销量不佳 是因为玩家期望过高
• ·发布9年后 PC版《GTA5》终于添加反作弊功能
• ·《羊蹄山之鬼》的开放世界将不再那么重复
• ·《咒》Steam试玩发布 好评湾产恐怖电影改编
• ·Netflix制作的动画电影《猎魔人：深海女妖》放出全新预告 延期至2025年上映
• ·新作《死亡终局：轮回试炼3》正在开发中 发售日期待定
• ·《燕云十六声》官方：黑神话成功后 我们成了“黄毛”
• ·曝RTX 5080性能仅比4080 S提升了18% 可能落后RTX 4090
• ·Redmi Note 14系列亮相 携手闪回科技推出换新补贴
• ·一箭五星！我国成功发射力箭一号遥四商业运载火箭
• ·共计33亿！蔚来中国获战略投资者新一轮增资