一360一提示您:看后求收藏(360小说网www.kevinslist.net),接着再看更方便。

在AI领域,开源已成为推动技术进步和创新的重要力量。近日,科技巨头特斯拉的创始人埃隆·马斯克再次展现了他在AI领域的雄心壮志,宣布开源其旗下AI创企xAI开发的大语言模型Grok-1。这一举动不仅使得Grok-1成为当前参数量最大的开源大语言模型,更在业界引发了广泛关注。

马斯克一直对OpenAI的开放性持怀疑态度,此次开源Grok-1可谓是对OpenAI的一次有力回应。在社交平台上,马斯克含沙射影地表示:“我们想了解更多OpenAI的开放部分。”这番言论无疑加剧了业界对于AI开源与闭源之争的关注度。

Grok-1的开源不仅意味着其模型权重和架构将遵循Apache 2.0协议向公众开放,更重要的是,它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性不仅有助于推动AI技术的普及和应用,更能激发更广泛的研究和创新活力。

值得注意的是,Grok-1作为一个拥有3140亿参数的混合专家(Mixture-of-Experts,MOE)大模型,其规模之大令人咋舌。相比之下,OpenAI的GPT-3.5模型仅有1750亿参数。如此庞大的参数量使得Grok-1在语言理解和生成能力上具备了强大的优势。这也意味着,要使用和测试Grok-1,用户需要拥有足够GPU内存的机器。据网友表示,这可能需要一台拥有628 GB GPU内存的机器,这无疑提高了使用该模型的门槛,但也从侧面反映了其技术含量的高度。

在Grok-1的开发过程中,xAI团队展现出了极高的技术实力和创新精神。他们首先训练了一个330亿参数的原型语言模型Grok-0,并在标准语言模型测试基准上取得了接近LLaMA2(70B)的能力。随后,他们对模型的推理和编码能力进行了重大改进,最终开发出了功能更为强大的Grok-1。在HumanEval编码任务和MMLU中,Grok-1均取得了优异的成绩,超过了包括ChatGPT-3.5在内的其他计算类模型。

与其他大模型相比,Grok-1的独特之处在于它是一款从头训练的大模型。xAI团队使用自定义训练堆栈在JAX和Rust上进行训练,没有针对特定任务进行微调。这使得Grok-1在通用性和灵活性方面具备了更高的优势。此外,Grok-1还能通过X平台实时了解世界,这使得它能够回答被大多

更多内容加载中...请稍候...

本站只支持手机浏览器访问,若您看到此段落,代表章节内容加载失败,请关闭浏览器的阅读模式、畅读模式、小说模式,以及关闭广告屏蔽功能,或复制网址到其他浏览器阅读!

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

其他类型推荐阅读 More+
斗罗:绑定随机系统后唐三气疯了

斗罗:绑定随机系统后唐三气疯了

方晓柒
穿越斗罗成为了唐三的亲姐姐,原本想跟着二弟混吃混喝到神界,但没想到二弟那是丝毫不照顾自己,不但不教自己唐门功法,还整天说什么自己已有取死之道, 好在觉醒随机能力系统,每过一段时间,系统能力就会发生变化, 抢夺他人机缘?这蓝银皇传承不错, 复制别人技能?这个瞬移真是神技! 炼器大师技能?一堆废铁炼出98k? 催发药物生长?凡草变仙草妈活了! 性别改变?唐三看玉小刚也眉清目秀, …… 多年以后, 唐琳
其他 连载 32万字
宿主今天也想当大佬

宿主今天也想当大佬

贪吃懒做
天界月老庙举行万年一度的牵红线大赛,只有业绩第一的实习月老才能转正,作为非酋,栀奈成功被分到了最难的纠错部门。看着手上乱成一遭的红线,栀奈叹了口气,带着系统踏上纠错道路。什么?你是重生女?不好意思,命定姻缘人选不是你。什...
其他 连载 0万字
恶鬼铸躯,从用香菜征服泥神开始

恶鬼铸躯,从用香菜征服泥神开始

大羊屿岛的王董
诡秘末世,不可名状之物纷纷降临,人类社会彻底崩塌。在这个人吃人的时代,张更被妻子一家养的恶鬼吃得干干净净!神秘的小猫逆流时光,让他重回末世之前,这一次,他不可能再让自己身陷绝境! 他要在末世到来之前,囤积无数恶鬼!洗劫全球物资! 听说你养了一只鬼王?不好意思,我老婆是鬼王,我背上的纹身是鬼王,我十根手指全是鬼王,我瞳孔里的锁链比鬼王还鬼王!你们拿什么跟我打? 美丽国:大哥,你已经来过三次了! 扶桑
其他 连载 48万字
[西游]哪吒妹妹不好当

[西游]哪吒妹妹不好当

北斗小熊
【日更或隔日更】穿越的第一天,灵微不仅脱离了人籍,还成了她最害怕的老鼠。值得庆幸的是,这不是普通老鼠,可以修炼,也可以化为人形。当然,如果她穿的不是《西游记》。碍于世尊的面子,哪吒认下了一只老鼠精当
其他 连载 6万字
花豹突击队

花豹突击队

竹香书屋
血与火的战场,风声鹤唳的山林,神奇的猛兽和古武少年,这是一支有着铮铮铁骨的特种部队,这是一群浴血疆场、有血有泪的特种军人。枪声与热血共存,猛兽与英雄相伴,这是一本描写铁骨军人的书! 书友群号:336093992 竹香书屋VIP读者群:群号468694031
其他 连载 0万字