球探体育比分_篮球比分直播-投注官网

图片
注册
闽南网 > 新闻中心 > 数码科技 > 正文

AMD发布首个AI小语言模型:6900亿token

来源:快科技 2024-10-01 18:02 /

  AMD发布了自己的首个小语言模型(SLM),名为“AMD-135M”。

  相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

  AMD-135小模型隶属于Llama家族,有两个版本:

  一是基础型“AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

  二是延伸型“AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

  它使用了一种名为“推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更精确的目标模型,进行验证或纠正。

  这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

  AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

  比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

  AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

  按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

原标题:AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍
责任编辑:李晓灵
相关阅读:
新闻 娱乐 福建 篮球比分直播: 漳州 厦门
猜你喜欢:
热门评论:
频道推荐
  • 检察机关依法分别对杨锡祥、林锐武、朱立军
  • 海南省纪委监委公布8起群众身边不正之风和
  • 非法收受财物1776万余元 中国工商银行原党
  • 新闻推荐
    @所有人 多项民生礼包加速落地快来查收 三峡大坝变形?专家:又有人在恶意炒作 北京新一波疫情为什么没出现死亡病例? 戴口罩、一米线 疫情改变了哪些习惯? 呼伦贝尔现幻日奇观 彩虹光带环绕太阳
    视觉焦点
    石狮:秋风起,紫菜香 石狮:秋风起,紫菜香
    石狮环湾生态公园内粉黛乱子草盛放 石狮环湾生态公园内粉黛乱子草盛放
    精彩视频
    世遗篮球比分直播:|闽南古早味·永春咯摊:包容四海 滚烫嫩滑(视频)
    世遗篮球比分直播:|闽南古早味·永春咯摊:包容四海 滚烫嫩滑(视频)
    蔡国强白日焰火《红帆》在篮球比分直播:精彩绽放(视频)
    蔡国强白日焰火《红帆》在篮球比分直播:精彩绽放(视频)
    专题推荐
    世遗篮球比分直播:
    世遗篮球比分直播:

    挖掘篮球比分直播:的乡村之美、名桥之美、名山之美、饮食之美,让时代记忆在城市更新中重焕荣光

    新质生产力在篮球比分直播:
    何以中国·向海篮球比分直播:
     
    48小时点击排行榜
    女子被鹦鹉啄光眉毛:以为在按摩 网友: 丈夫读博妻子带娃7年离婚获3万补偿 供丈 今天(12月24日)油价调整最新消息:油价 最新公布!鲤城区通过有关人事任免! 职业教育改革 福建有“数” 鲤城多个项目进度刷新!涉及古城、新区… 美国前总统比尔·克林顿入院 天山脚下“冰雪旋风”正劲