来源:
最强组合HuggingFace+ChatGPT= "Jarvis "现公开试玩。
前段时间，浙大&；微软发布大型模型协作系统HuggingGPT，直接爆炸。
研究人员提出使用ChatGPT作为控制器，连接HuggingFace社区中的各种AI模型，完成多模态的复杂任务。
整个过程你需要做的就是用自然语言输出你的需求。
NVIDIA科学家表示，这是我本周读过的最有趣的论文。它的思路和我之前说的“万物app”非常接近，就是万物都是App，信息直接由AI读取。
入门体验
现在，HuggingGPT增加了Gradio演示。
项目地址:https://github.com/microsoft/JARVIS.
有网友开始体验了。第一，地图上有多少人？
HuggingGPT根据推理结果，得出图中有两个人走在街上。
具体流程如下:
首先使用图像转文本模型NLP Connect/VIT-gp T2-Image-capture对图像进行描述，生成的文本为“两个女人和一列火车走在街上”。
然后用目标检测模型facebook/detrresnet 50检测图片中的人数。该模型检测到7个对象和2个人。
然后用可视化问答模型Dandelin/vilt-B32-微调-VQA得出结果。最后，系统为回答问题提供详细的回答和模型信息。
另外，让它理解“我爱你”这句话的情感，翻译成Tamiḻ.
HuggingGPT调用以下模型:
首先，使用“dslim/bert-base-NER”模型对文本“我爱你”进行分类，即“浪漫”。
然后，用“ChatGPT”将文字翻译成泰米尔语，即“Nan unnai kadalikiren”。
推断结果中没有生成图片、音频或视频文件。
抄录MP3文件时，HuggingGPT失败。网友说:“我不确定这是不是我输入文件的问题。」
再来看看图像生成的能力。
将文本“我爱你”添加到输入的“猫跳舞”图像中作为覆盖。
HuggingGPT首先使用“runwayml/stable-diffusion-1-5”模型，根据给定的文字生成“跳舞的猫”的图片。
然后用同样的模型根据给定的文字生成“我爱你”的图片。
最后，将两张图片合并在一起，输出下图:
贾维斯照进现实。
项目公开后没几天，Jarvis就已经在GitHub上收获了12.5k星和811叉。
研究人员指出，解决目前大规模语言模型(LLM)的问题可能是迈向AGI的第一步，也是关键的一步。
由于大规模语言模型技术还存在一些缺陷，在建立AGI系统的道路上还有一些迫切的挑战。
为了处理复杂的人工智能任务，LLM应该能够与外部模型进行协调，以利用它们的能力。
因此，关键点是如何选择合适的中间件来桥接LLMs和AI模型。
在这篇研究论文中，研究者提出语言是HuggingGPT中的通用接口。其工作流程主要分为四个步骤:
论文地址:https://arxiv.org/pdf/2303.17580.pdf
首先是任务规划。ChatGPT分析用户的请求，将其分解为多个任务，并根据其知识规划任务顺序和依赖关系。
然后，选择模型。LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型。
然后执行任务。专家模型在推理端点上执行分配的任务，并将执行信息和推理结果记录在LLM中。
最后，响应生成。LLM汇总执行过程日志和推理结果，并将汇总返回给用户。
如果提出这样的要求:
请画一张正在看书的女孩的照片。她的姿势和example.jpg的男孩一样。然后请用你的声音描述新画面。
你可以看到HuggingGPT是如何将其分解为六个子任务，并选择模型分别执行它们以得到最终结果的。
ChatGPT通过在提示中包含AI模型描述，可以看作是管理人工智能模型的大脑。因此，这种方法可以使ChatGPT调用外部模型来解决实际任务。
简单来说，HuggingGPT是一个协作系统，而不是一个大模型。
它的功能是连接ChatGPT和HuggingFace，从而处理不同的模态输入，解决很多复杂的人工智能任务。
所以HuggingFace社区的每一个AI模型在HuggingGPT库中都有对应的模型描述，并集成到提示中，与ChatGPT建立连接。
后来HuggingGPT用ChatGPT做大脑来确定问题的答案。
到目前为止，HuggingGPT已经围绕ChatGPT在HuggingFace上聚集了上百个模型，涵盖了文本分类、物体检测、语义分割、图像生成、问答、文本转语音、文本转视频等24个任务。
实验结果表明，HuggingGPT能够很好地执行各种形式的复杂任务。
网友热议
有网友表示，HuggingGPT类似于微软之前提出的Visual ChatGPT，似乎是他们将最初的想法扩展到了一套庞大的预训练模型上。
Visual ChatGPT直接基于ChatGPT，注入了很多可视化模型(vfm)。本文提出了即时管理。
在PM的帮助下，ChatGPT可以使用这些vfm，并以迭代的方式接收它们的反馈，直到满足用户的要求或达到结束条件。
有网友觉得这个想法真的很像ChatGPT插件。以LLM为中心的语义理解和任务规划可以无限提高LLM的能力边界。通过将LLM与其他功能或领域专家相结合，我们可以创建一个更强大、更灵活的AI系统，它可以更好地适应各种任务和需求。
这就是我一直以来对AGI的看法。人工智能模型可以理解复杂的任务，然后将较小的任务分配给其他更专业的AI模型。
和大脑一样，它有不同的部分来完成特定的任务，这听起来很符合逻辑。
参考资料:
https://twitter.com/1littlecoder/status/1644466883813408768
https://www。**.com/watch？v=3_5FRS-2A
https://huggingface.co/spaces/microsoft/HuggingGPT
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信(j7hr0a@163.com)，我们会及时处理和回复。
原文地址"炫到爆炸！HuggingGPT在线演示惊艳亮相，网友亲测图像生成绝了"：http://www.guoyinggangguan.com/qkl/161101.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码
