公告:聚站网(www.565865.com)专业分类目录平台,收录各行业优秀网站(违法站勿扰),快审仅需20元/站,永久收录!合作QQ:404959672

快速审核,网站广告合作请联系我们
  • 分类:131
  • 网站:17047
  • 文章:15905

北京商报讯(记者 魏蔚)11月15日,创新工场创始人李开复创办的大模型公司零一万物,针对其开源Yi大模型涉嫌抄袭LLaMA一事作出说明,并“表达诚挚的歉意,我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

零一万物是李开复创办的大模型创业公司,11月6月开源了预训练大模型 Yi-34和Yi-6B。不过,开发者ehartford在Yi-34B的Hugging Face开源主页上表示,称该模型使用了Meta LLaMA的架构 ,只对两个张量名称进行了修改 ,分别为input_layernorm和post_attention_layernorm。ehartford还表示,希望该公司在模型被大量使用之前考虑重命名张量以符合LLaMA架构,并将这一更改应用到官方模型中。

根据零一万物的说明,零一万物在训练模型过程中,沿用了GPT/LLaMA的基本架构,由于LLaMA社区的开源贡献,让零一万物可以快速起步。零一万物从零开始训练了 Yi-34B 和 Yi-6B 模型,并根据实际的训练框架重新实现了训练代码,用自建的数据管线构建了高质量配比的训练数据集(从3PB原始数据精选到3T token高质量数据)。除此以外,在 Infra 部分进行算法、硬件、软件联合端到端优化,实现训练效率倍级提升和极强的容错能力等原创性突破。这些科学训模的系统性工作,往往比起基本模型结构能起到巨大的作用跟价值。

“在零一万物初次开源过程中,我们发现用和开源社区普遍使用的LLaMA 架构会对开发者更为友好,对于沿用LLaMA部分推理代码经实验更名后的疏忽,原始出发点是为了充分测试模型,并非刻意隐瞒来源”,对此,零一万物提出说明并表达诚挚的歉意,“我们正在各开源平台重新提交模型及代码并补充LLaMA 协议副本的流程中,承诺尽速完成各开源社区的版本更新”。

    关键词: 万物 李开复 模型
    精彩推荐

    时间:23/12/29

    北京商报讯11月15日,创新工场创始人李开复创办的大模型公司零一万物,针...

    时间:23/12/28

    北京商报讯11月15日,有报道称,近期滴滴内部已经组建大模型团队,由滴滴出...

    时间:23/12/28

    文|新浪财经刘丽丽猎豹移动CEO傅盛在朋友圈直怼王自如,直指“王自如不...

    时间:23/12/28

    人工智能正在引领新一轮科技革命和产业变革,深刻改变着人们的生产、生...

    时间:23/12/28

    华尔街的银行家们面临严峻的奖金季,利率上升、业内银行倒闭和交易撮合...

    文章分类
    快审网站推荐
    随机网站推荐
    网易视频21/10/09

    网易直播频道是集新闻、娱乐、体育、科技、原创节目、时尚生活、汽车...

    千里马21/10/01

    千里马招标网是专业的招投标中介机构,主要提供招投标信息、拟在建项目...

    博客园21/10/07

    博客园是一个面向开发者的知识分享社区。自创建以来,博客园一直致力并...

    PC6下载站21/10/04

    PC6下载站提供软件下载,包括各类PC软件,单机游戏,手机游戏,手机软件,...

    电子发烧友网站提供各种电子电路,电路图,原理图,IC资料,技术文章,免费下...

    962乐游网21/10/12

    962乐游网提供中文单机游戏、单机游戏资讯、游戏补丁等;所有游戏配有...

    高三网21/10/10

    高中三年,陪你一起走过,涵盖高中全部科目学习方法和学习资料,以及高招信...

    天极网21/10/03

    天极网,全球最大的中文IT门户,专注IT产品采购及应用指南,每天为广大...

    环球网21/10/10

    环球网是中国领先的国际资讯门户,拥有**采编权的中央重点新闻网站。环...

    北京中公未来教育咨询有限公司,创业于1999年,是国内民办教育知名品牌“...