公告:聚站网(www.565865.com)专业分类目录平台,收录各行业优秀网站(违法站勿扰),快审仅需20元/站,永久收录!合作QQ:404959672

快速审核,网站广告合作请联系我们
  • 分类:131
  • 网站:20121
  • 文章:19149

  万众瞩目的DeepSeek“开源周”,第一弹来了。

  2月24日,DeepSeek开源了首个代码库FlashMLA。据了解,这是DeepSeek针对Hopper GPU优化的高效MLA(Multi-Head Latent Attention,多头潜在注意力)解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。

  上周四,DeepSeek宣布将在本周举办“开源周”活动,连续开源五个代码库,由此引燃了大家的期待。作为“开源周”的第一弹,FlashMLA给业界带来颇多惊喜。本周的剩下四个工作日,DeepSeek还将继续开源四个代码库。业内人士分析,其余四个代码库可能会与AI算法优化、模型轻量化、应用场景拓展等相关,涵盖多个关键领域。

  进一步突破GPU算力瓶颈

  根据DeepSeek的介绍,FlashMLA主要实现了以下的突破:

  一是BF16支持,提供更高效的数值计算能力,减少计算精度损失,同时优化存储带宽使用率。

  二是分页KV(Key-Value,一种缓存机制)缓存,采用高效的分块存储策略,减少长序列推理时的显存占用,提高缓存命中率,从而提升计算效率。

  三是极致性能优化,在H800GPU上,FlashMLA通过优化访存和计算路径,达到了3000GB/s内存带宽和580TFLOPS的计算能力,最大化利用GPU资源,减少推理延迟。

  据了解,传统解码方法在处理不同长度的序列时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA通过动态调度和内存优化,将HopperGPU的算力“榨干”,提升相同硬件下的吞吐量。

  简单理解,FlashMLA能够让大语言模型在H800这样的GPU上跑得更快、更高效,尤其适用于高性能AI任务,进一步突破GPU算力瓶颈,降低成本。

  值得注意的是,DeepSeek之所以能够实现大模型训练与成本的大幅降低,与其提出的创新注意力架构MLA密不可分。MLA(多头潜在注意力机制)又被称为低秩注意力机制,是与传统的多头注意力机制(Multi-head Attention)不同的一种创新性注意力机制。自从V2模型开始,MLA就帮助DeepSeek在一系列模型中实现成本大幅降低,但是计算、推理性能仍能与顶尖模型持平。

  浙江大学计算机科学与技术学院和软件学院党委书记、人工智能研究所所长吴飞表示,我们理解一篇文章,更关切单词所刻画的主题概念,而非单词从头到尾的罗列等。传统大模型中的注意力机制由于需要记录每个单词在不同上下文中的左邻右舍,因此其变得庞大无比。DeepSeek引入低秩这一概念,对巨大的注意力机制矩阵进行了压缩,减少参与运算的参数数量,从而在保持模型性能的同时显著降低了计算和存储成本,把显存占用降到了其他大模型的5%-13%,极大提升了模型运行效率。

  由于Flash MLA进一步突破了GPU算力瓶颈,记者注意到,有英伟达股民跑到DeepSeek的评论区祈祷,希望DeepSeek在让GPU更为高效的同时,能够不影响英伟达的股价。

  以持续开源加速行业发展进程

  作为开源社区的“顶流”,DeepSeek以完全透明的方式与全球开发者社区分享最新的研究进展,加速行业发展进程。

  在开源公告中,DeepSeek还表示,自己只是探索通用人工智能的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek称,没有高不可攀的象牙塔,只有纯粹的车库文化和社区驱动的创新。

  记者注意到,在DeepSeek开源FlashMLA的帖子下,有不少网友点赞其公开透明的开源精神。有网友表示,“OpenAI应该将它的域名捐给你”,还有网友说,“(开源周)第五天,我猜会是通用人工智能”。

  由于DeepSeek的图标是一只在大海里探索的鲸鱼,还有网友形象生动地描述称,“这条鲸鱼正在掀起波浪”(The whale is making waves)。

  据证券时报记者了解,(Open Source Initiative,开源代码促进会)专门针对AI提出了三种开源概念,分别是:

  开源AI系统:包括训练数据、训练代码和模型权重。代码和权重需要按照开源协议提供,而训练数据只需要公开出处(因为一些数据集确实无法公开提供)。

  开源AI模型:只需要提供模型权重和推理代码,并按照开源协议提供。(所谓推理代码,就是让大模型跑起来的代码。这是一个相当复杂的系统性工程,涉及到了GPU调用和模型架构)。

  开源AI权重:只需要提供模型权重,并按照开源协议提供。

  业内普遍认为,DeepSeek的胜利是开源的胜利,开源大模型的创新模式为人工智能的发展开辟了新的路径。DeepSeek此前开源的是模型权重,并没有开放训练代码、推理代码、评估代码、数据集等更为重要的组件,因此属于第三种类型的开源。

  一名资深的业内人士告诉记者,在DeepSeek推出R1并发布技术报告后,许多团队都在试图复现R1模型,但由于背后还涉及许多重要和关键的技术细节,因此要实现真正的复现其实比较困难,而且也需要较长的时间。不过,业内的开源基本上也都是开源模型权重,而DeepSeek的开源与其他开源模型相比已经是最顶级、最彻底的一种。

  正因如此,DeepSeek也被业界称为“源神”。同样在今天,DeepSeek-R1在知名的国际开源社区Hugging Face上获得了超过一万个赞,成为该平台近150万个模型之中最受欢迎的大模型。Hugging Face的首席执行官Clement Delangue也在社交平台上第一时间分享了这一喜讯。

  民生证券研报认为,DeepSeek所有模型均为开源模型,即所有应用厂商都拥有了可以比肩顶级AI的大模型,而且还可自行二次开发、灵活部署,这将加速AI应用的发展进程。当模型的成本越低,开源模型发展越好,模型的部署、使用的频率就会越高,使用量就会越大。

  研报进一步指出,经济学上著名的“杰文斯悖论”提出,当技术进步提高了资源使用的效率,不仅没有减少这种资源的消耗,反而因为使用成本降低,刺激了更大的需求,最终导致资源使用总量上升。因此从更长的周期来看,DeepSeek的发展恰恰会加速AI的普及和创新,带来算力需求、特别是推理算力需求更大量级提升。

  

    关键词: 本周 DeepSeek
    精彩推荐

    时间:25/02/25

    万众瞩目的DeepSeek“开源周”,第一弹来了。2月24日,DeepSeek开源了首...

    时间:25/02/24

    今日抖音副总裁李亮在微博公开发文,指出《字节AI团队大变阵》这个稿子...

    时间:25/02/23

    近日,网易CEO丁磊在2024年第四季度财报电话会议上说道。网易与暴雪此...

    时间:25/02/23

    2月22日,腾讯控股转入CSIG之后,QQ浏览器、搜狗输入法、ima等更多产品和...

    时间:25/02/21

    凤凰网科技讯2月20日,百度搜索全量上线DeepSeek满血版并提供联网服务,...

    文章分类
    快审网站推荐
    随机网站推荐

    伊秀女性网致力于做专业的女性门户网站,为中国职业女性24小时提供全面...

    凤凰网21/09/24

    凤凰网是中国领先的综合门户网站,提供含文图音视频的全方位综合新闻资...

    天气网21/09/26

    天气网提供全国及世界各大城市天气预报查询以及历史天气查询,实时更新...

    搜狐21/09/26

    1995年11月1日,建立爱特信网站,其中一部分内容是分类搜索,称作“爱特信...

    中国青年网,1999年5月4日正式开通,共青团中央主办的中央重点新闻网站,是...

    ip,IP查询,IP地址查询,ip138...

    飞卢网21/10/02

    飞卢网提供原创小说阅读,包括:轻小说,玄幻小说,同人小说,穿越小说、青...

    56网21/09/26

    56网成立于2005年4月,是中国领先的视频分享网站。“分享视频,分享快乐...

    百度知道21/09/23

    百度知道是由全球最大的中文搜索引擎百度自主研发、基于搜索的互动式...

    小红书21/09/27

    ​小红书-最大的全球购物社区,带你找到国外的好东西!每天10点开抢全...