2023年6月12日,总部位于区块链的AGI计算市场协议Gensyn宣布完成4300万美元A轮融资,a16z领投,Eden Block、CoinFund、Galaxy和Protocol Labs参与。
Gensyn是一个什么样的项目?为什么能获得顶级VC的巨额投资?金财经带你穿越一段文字。
a16z:a16z为什么领投Gensyn的4300万美元A轮融资?A16z发文解释了为什么领投Gensyn的4300万美元A轮融资。A16z表示,人工智能最近的进步不可思议,有拯救世界的力量(见金财经之前的报道《a16z创始人长文:为什么AI会拯救世界》)。但构建AI系统需要部署更多的计算能力来训练和推理当今最大、最强大的模型。这意味着大型科技公司在从人工智能中获取价值的竞争中比初创公司更具优势,这要归功于大型数据中心对计算能力的特权访问和规模经济。为了在公平的竞争环境中竞争,初创公司需要能够经济实惠地使用他们的大规模计算能力。
作为一种新型计算机,区块链的独特之处在于,开发者可以编写代码,并对代码的未来行为做出坚定的承诺。区块链的这种未经许可的组件可以为计算能力——或任何其他类型的数字资源,如数据或算法——的买家和卖家创造一个市场,在全球范围内进行交易,而无需中间人。
Gensyn是一个基于区块链的AGI计算能力市场协议,它将开发者(任何可以训练机器学习模型的人)与Solver(任何想用自己的机器训练机器学习模型的人)联系起来。Gensyn可以通过利用世界各地具有机器学习能力的闲置长尾计算设备,如小型数据中心、个人游戏电脑、M1和M2 Mac甚至智能手机,来增加10-100时报用于机器学习的可用计算能力。
AGI(通用人工智能)面临的问题:高度集中经过近半年的发展,市场普遍认可AGI是未来。然而,AGI工业目前似乎处于高度垄断状态。中美之间是国与国之间的贸易和人才战,大型科技公司(微软、谷歌、Meta)之间的博弈。因为目前AGI的三大关键资源(计算能力、知识和数据)高度集中。
计算能力:越来越多的大型复杂模型需要用高计算能力的处理器进行训练。国与国之间:在中美的芯片大战中,美国一直在积极阻止中国获得高计算芯片。公司之间:产能不足,英伟达最新的AI芯片都是一些大客户采购,其他公司根本买不到。在技术栈上:一些公司甚至创建了自己的深度学习专用硬件,如谷歌的TPU集群。这些在深度学习上比标准GPU要好,而且不卖,只租。
知识:许多公共突破源于研究人员开发的新的大规模模型框架,但底层知识产权和人才之间存在争斗。例如,美国从中国吸引了超过50%的AI人才,利用这些人才开发大型模型的大公司正在日益降低这项技术的可及性;OpenAI的GPT-3.5或4名义上可以公开使用,但它在API背后,只有微软可以访问它的源代码。
数据:AGI深度学习模型需要大量数据——有标签的和无标签的——并且通常会随着数据量的增加而改善。GPT-3已经被训练了3000亿个单词。标记数据尤为重要,训练AGI所需的数据集集中在一些大公司手中。比如一个冷知识:你每次解决reCaptcha访问网站的问题,都是在标记训练数据来改进谷歌地图。
去中心化AGI计算的困难去中心化计算可以为研究和开发人工智能创造一个更便宜和更自由的基础。然而,在权力下放的AGI,有一个工作核实的问题。你怎么知道第三方已经完成了你要求的计算?
工作验证的问题有两个因素:状态依赖和高计算成本。
状态依赖:神经网络中的每一层都与前一层中的所有节点相连。这意味着它需要前一层的状态。更糟糕的是,每一层的所有权重都是由前面的时间步决定的。因此,如果你想验证是否有人训练了一个模型——例如,通过在网络中选择一个随机点,看看你是否得到了相同的状态——你需要训练模型直到那个点,这是非常计算密集型的。
计算成本高:2020年GPT-3单次训练的成本约为1200万美元,比2019年GPT-2训练约4.3万美元的预估值高出270多倍。一般来说,最好的神经网络的模型复杂度(规模)是每三个月翻一倍。如果神经网络更便宜,和/或如果训练表示更少的模型开发过程,则可能来自状态依赖的验证开销是可接受的。
如果要降低深度学习训练的价格,分散控制,就需要一个不信任状态相关验证的系统,而且对于贡献计算的人,在费用和奖励上也是便宜的。
Gensyn如何去中心化AGI计算Gensyn协议将世界上所有的计算联合成一个全球机器学习超级集群,任何人都可以在任何时间使用。它结合了两件事,实现了无信任的超大规模、低成本的神经网络训练:
1.创新的验证系统有效解决了任意规模神经网络训练中的状态依赖问题。系统将模型训练检查点与在链中结束的概率检查相结合。它在没有信任的情况下完成所有这些工作,成本与模型大小成线性比例(保持验证成本不变)。
根据Gensyn Litepaper的说法,Gensyn主要通过三个概念来解决验证问题:概率学习证明(使用基于梯度的优化过程中的元数据来构建所执行工作的证书,并通过一些阶段来快速验证它),以及基于图的精确定位协议(使用多粒度、基于图的精确定位协议和交叉评估器来一致地执行,以允许验证工作重新运行并与一致性进行比较,并最终由链本身来确认),Truebit激励游戏(使用打桩和划片来构建激励游戏,以确保每个财务上理性的参与者诚实行事
该系统主要由四个主要参与者组成:提交者、问题解决者、验证者和揭发者。提交者:系统的最终用户,提供需要计算的任务,并为完成的工作单元付费;问题求解器(Problem solver):系统的主要工作部分,它执行模型训练并生成证据供验证者检查;验证者:将非确定性的训练过程与确定性的线性计算联系起来,确定性的线性计算是求解者证明的一部分并将距离与预期阈值进行比较;告密者:最后一道防线,检查验证者的工作并向其挑战,以获得累积的奖金。
2.新供应利用未充分利用和未充分利用/优化的计算设备资源。这些设备从目前不用的游戏GPU到以太坊上一代发电的GPU矿机都有。此外,协议的分散意味着它最终将由社区多数人管理,未经社区同意不能“关闭”;不像它的web2对手,这使它反审查。
大规模+低成本:Gensyn协议提供与数据中心拥有的GPU类似的成本,规模可以超过AWS。
本网站声明:网站内容来源于网络。如有侵权,请联系我们,我们会及时处理。
温馨提示:注:内容来源均采集于互联网,不要轻信任何,后果自负,本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权,请给我们来信(j7hr0a@163.com),我们会及时处理和回复。
原文地址"算力 pib,a12x算力":http://www.guoyinggangguan.com/qkl/144284.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码