AMD发布首个AI小语言模型：6900亿token
AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。
相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。
AMD-135小模型隶属于Llama家族，有两个版本：
一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。
二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。
它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。
这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。
AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。
比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。
AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。
按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。
原标题：AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍
责任编辑：李晓灵
- 相关阅读:
-
佩斯科夫：现在召开联合国安理会五常峰会“不现实”2024-09-25福建文旅讲坛第七期：穿越千年非遗 共话中华民族团结的辉煌篇章2024-09-26八旬阿姨900万买千件藏品仅值40万 均为同一个人出售2024-09-25
- 新闻 娱乐 福建 篮球比分直播： 漳州 厦门
-
- 胡塞武装称袭击两艘商船 其中一艘是美国油轮
2024-10-11 12:00 - 【网络中国节·重阳】今日重阳
2024-10-11 10:53 - 韩剧用重庆照片冒充首尔 网友：甚至还p了一座山
2024-10-11 10:27 - 今日开庭！人贩子余华英被控拐卖儿童人数增至17人
2024-10-11 10:27 - 生态环境部：6方面发力以高水平保护支撑高质量发展
2024-10-11 10:26 - 联合国人权理事会通过中国等国提出的无障碍建设专题决
2024-10-11 10:12 - 也门胡塞武装称袭击一艘美国油轮
2024-10-11 10:12
- 胡塞武装称袭击两艘商船 其中一艘是美国油轮
- 猜你喜欢:
-
国贸地产发布2023年度ESG报告 打造行业可持续发展样本2024-09-29联想拯救者Y700发布：骁龙8 Gen 3 价格2889元起2024-09-29买一个商品让自己开心 情绪消费有望成为新热点2024-10-08
您需要登录后才可以评论， 登录| 注册
侵华日军新罪证“满洲农业移民入植图”展出2024-09-18
挖掘篮球比分直播：的乡村之美、名桥之美、名山之美、饮食之美，让时代记忆在城市更新中重焕荣光