一份意外泄露的Google内部文件再次将Meta的LLaMA大模型“无意开源”事件推到了聚光灯下。
已知“泄露文件”的作者是谷歌内部的一名研究人员。他大胆指出，开源的力量正在填补OpenAI和Google等模型巨头数年来构建的护城河，最大的受益者是Meta，因为该公司在2月份意外泄露的LLaMA模型正在成为开源社区训练新的AI模型的基础。
几周之内，开发人员和研究人员开始基于羊驼进行微调训练，并相继发布了羊驼、骆马、单峰骆驼等中小型模型。不仅培训费用只花了几百块钱，硬件门槛也降低到了笔记本电脑甚至手机，测试结果也不比GPT-4差。
除了AI模型，FreedomGPT等ChatGPT应用也如雨后春笋般涌现，以羊驼为原型的“羊驼家族”也在不断壮大。该研究员认为，Meta很可能形成生态，成为最大赢家。
事实上，人工智能世界的某些部分确实已经进入了“Android时刻”，这部分就是开源社区。特斯拉前AI总监安德烈·卡帕西(Andrej Karpathy)在开源社区评论AI的进化时说，他看到了“寒武纪大爆发的早期迹象”。
在AI的赛道上，不仅科技巨头在奔跑，开源社区也正从小路涌入大道，成为人工智能发展中不可忽视的力量。
羊驼意外养出“羊驼一族”
“我们没有护城河，OpenAI也没有。”一篇来自谷歌内部的文章在半分析博客上传播。文章作者认为，Meta的美洲驼开源模式正在迅速聚集生态学的雏形，正在缩小与GPT的差距。开源AI最终会打破谷歌和OpenAI之间的护城河。
这篇文章再次引起人们对Meta的美洲驼模型的关注。模型代码泄露后的两个月内，意外成为开源社区训练自然语言模型的基础，也产生了很多中小型模型和应用。
回到今年2月24日，Meta推出了大语言模型LLaMA，根据参数分为7B、13B、33B、65B四个版本。虽然参数远不及GPT-3，但效果在AI圈获得了一些正面评价，尤其是在单个GPU上运行的优势。
Meta曾在官方博客中表示，像LLaMA这样更小更高性能的模型，可以被社区中无法访问大量基础设施的人用来研究这些模型，进一步民主化人工智能大语言模型的开发和访问。
“民主化”来得很快。美洲驼推出一周后，一位名叫llamanon的网友在国外论坛4chan上以种子文件的形式上传了7B和65B的美洲驼模型，下载后的大小只有219GB。从那以后，这个种子链接被发布到了GitHub，一个开源社区，下载量超过了一千次。羊驼就这样被泄露了，但是诞生了很多实验结果。
起初，一位名叫Georgi Gerganov的开发人员打开了一个名为LLaMA.cpp的项目，基于LLaMA模型的简单Python语言的代码示例，他创建了一个用于模型推理的纯C/C++语言版本。改语言最大的好处是研究人员可以不用GPU，只用CPU运行LLaMA模型，大大降低了大型模型的训练硬件门槛。
正如谷歌的研究人员所写，“训练和实验的门槛已经从一个大型研究机构的总产出降低到一个人、一个晚上和一台强大的笔记本电脑。”在开发者的不断测试下，LLaMA已经可以在微机树莓派4和谷歌Pixel 6手机上运行。
开源社区的创新热情也完全被点燃，每隔几天就会有新的进展，几乎形成一个“骆马(羊驼)生态”。
3月15日，斯坦福大学发布了对羊驼进行微调后的羊驼(LLaMA)模型，仅用了52K数据，历时3小时。研究人员声称，测试结果相当于GPT-3.5，培训费用不到600美元。在一些测试中，阿尔佩斯和GPT-3.5分别赢了90次到89次。
随后，加州大学伯克利分校、卡耐基梅隆大学、加州大学圣地亚哥分校的研究人员提出了一种新的模型——Vicuna(羊驼)，它也是以骆马为基础制作的，训练成本仅为300美元。
在项目评估中，研究人员请GPT-4担任“考官”。结果显示，在超过90%的问题中，GPT-4更倾向于Vicuna的答案，Vicuna达到了ChatGPT总分的92%。
用GPT-4评估Vicuna和其他开源模型。
短短几周内，以羊驼为原型的“羊驼家族”不断壮大。
4月3日，伯克利人工智能研究所发布了基于LLaMa微调的新模型考拉(考拉)。培训费用不到100美金，相当于一半以上情况下的ChatGPT成绩。5月4日，来自卡耐基梅隆大学语言技术研究所、IBM研究院和马萨诸塞大学阿默斯特分校的研究人员推出了单峰驼(Dromedary)，它起源于对齐语言模型。在不到300行人工注释的情况下，65B LLaMA基本语言模型可以在TruthfulQA上超过GPT-4。
在中国，也出现了垂直医疗领域的“羊驼家族”成员。基于LLaMa模型的指令微调，哈工大推出了中医智能问诊模型华佗，可以生成专业的医学知识答案。
哈工大推出中医智能问诊模式华佗(华佗)
基于该模型的开源创新，不仅是在大模型上，更是在应用层上。
3月31日，AI公司Age of AI推出了基于斯坦福大学羊驼开发的语言模型FreedomGPT。3月29日，加州大学伯克利分校发布了基于其庞大人工智能的巨像对话机器人。其能力包括知识问答、中英对话、内容创作、编程等。
从基础模型层到应用层，基于羊驼的“羊驼家族”还在一路奔跑中。
由于“开源”LLaMA来自Meta，发布文章的谷歌研究员认为，Meta意外地成为了这场AI竞赛的最大受益者——在开源社区的帮助下，Meta赢得了全球顶级开发者的免费劳动力，因为大多数开源AI创新都发生在他们的基础设施中，所以没有什么可以阻止Meta将这些成果直接集成到他们的产品中。
开源动力触发“人工智能的安卓时刻”
在ChatGPT引爆人工智能热潮后，英伟达首席执行官黄仁勋将这一浪潮称为“人工智能的iPhone时刻”。他认为，当iPhone诞生并颠覆手机行业时，AI行业已经进入了一个革命性的时代。当LLaMA打开开源社区的小宇宙时，网友们以为“AI的安卓时刻”来了。
回过头来看，Google用开源的思想让更多的开发者参与到Android应用生态的构建中，最终让Android成为电脑和手机系统/应用的主流。今天，LLaMA再次让AI行业看到了开源的力量。
智能软硬件开发公司Mobvoi的CEO李志飞也注意到了谷歌内部的声音:
“在大模型领域，谷歌在势头上已经远远落后于OpenAI。在开源生态中，如果Google再犹豫，即使以后想开源，也会远远落后于Meta的LLaMA。相反，如果开源，可以进一步降低OpenAI的壁垒，吸引(或留住)很多支持开源的高级人才。”
特斯拉前AI总监安德烈·卡帕西(Andrej Karpathy)认为:
“当前开源模型的生态趋势已经显示出寒武纪大爆发的早期迹象。”
的确，开发者对开源AI模型前所未有的热情正从Github的摘星指数中溢出:羊驼获得23.2k星，llama.cpp获得26.3k星，llama获得20.8k星...而且在“羊驼家族”之前，AutoGPT等开源项目在Github也有很高的人气，突破100k星。
开发者对开源AI模型的星级评定
此外，为了赶上ChatGPT，构建大型开源社区的AI初创公司Hugging Face最近推出了底层模型拥有300亿个参数的开源聊天机器人HuggingChat，并向外界开放了其训练数据集。Nvidia的AI科学家Jim Fan认为，如果应用程序开发得更晚，拥抱脸将比OpenAI更有优势。
开源的力量来了，手握OpenAI的微软也不准备孤注一掷。今年4月，微软推出开源模型DeepSpeed Chat，为用户提供“傻瓜式”操作，将训练速度提高了15倍。
以LLaMA为核心的AI开源社区正与OpenAI等大模型巨头并行空，在开源思想和实践中爆发的创新力量不容巨头小觑。
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"da模型，模型大会"：http://www.guoyinggangguan.com/qkl/142563.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
