原文来自:模数实验室
编译:定义之路
很高兴终于和大家分享了我们的第一篇论文,它是由以太坊基金会资助的。它的名字叫《智能的代价:提供零知识的机器学习影响力》(或者paper0,酷孩子这么叫)。
没错,这些都是实数!有图表!本文还讨论了理论结构及其对性能的影响!事实上,paper0是第一个跨通用AI原语套件对ZK证明系统进行基准测试的研究工作。你现在可以看整张报纸了。
而这篇文章,你可以把它当做论文的总结。详情请参考原论文。
趁还来得及,让我们有更深的了解:
Paper0:我们的调查指出,事实上,未来的计算将使用大量复杂的人工智能。看看我的文本编辑器:
观念的暗示告诉我,他们的LLM可以让这句话变得更好。
但是链中没有功能神经网络,甚至连最小的推荐系统或者匹配算法都不存在。该死的!甚至没有一个实验...当然原因很明显,因为太贵了。毕竟即使是价值几十万FLOP的计算(只够在一个微型神经网络上进行一次推理)也要耗费几百万的气体,相当于目前的几百美元。
那么,如果我们想把AI范式带入一个没有信任的世界,我们应该怎么做?我们会翻身放弃吗?当然不...等等!翻车)……放弃吧……
如果Starkware、Matter Labs等公司的Rollup服务正在使用零知识证明大规模扩展计算,同时保持密码安全,我们是否可以对AI做同样的事情?
这个问题已经成为促进我们在paper0中工作的激励种子。剧透一下,这是我们的发现:
“现代ZK证明制度的性能越来越高,也越来越多样化。他们已经可以在一定程度上以合理的成本支持人工智能操作。事实上,在证明神经网络方面,有些系统比其他系统好得多。但这些都还达不到实际应用所需的性能,对于神奇的用例来说严重不足。换句话说,如果人工智能操作的ZK系统没有进一步加速,用例将非常有限。”
Paper0摘要
这是一个众所周知的秘密:AI性能几乎总是与模型大小成正比。这一趋势似乎没有放缓。只要这种情况还存在,我们这些web3的人就特别痛苦。
毕竟,计算成本是我们噩梦的最终和不可避免的来源。
今天的ZKP已经可以支持小型模型,但中型到大型模型打破了这一模式。
基准:实验设计对于paper0,在任何零知识证明系统中,我们关注两个基本指标:
证明生成时间:证明者创建人工智能推理的伴随证明所需的时间
证明者内存使用峰值:在证明期间的任何给定时间,证明者用来生成推理证明的最大内存;
这主要是一个实际的选择,是从我们构建Rockybot的经验中得出的(证明在不信任人工智能的情况下,时间和内存使用是决定任何用例可行性的直接优先级)。此外,所有测量都是针对证据生成的时间进行的,不考虑预处理或证据生成。
当然,还有其他需要跟踪的成本。这包括验证运行时间和证明大小。我们将来可能会重新检查这些指标,但认为它们超出了paper0的范围。
至于我们测试的实际验证系统,我们通过投票选择了六个:
Paper0测试的认证体系总结,以及协助我们的作者。
最后,我们创建了两组多线性感知器(MLP)进行基准测试——值得注意的是,MLP相对简单,主要由线性运算组成。这包括一套随参数增加而扩展的架构(最高1800万参数,22 GFLOP),第二套随层数增加而扩展的架构(最高500层)。如下表所示,每个套件测试证明系统可以以不同方式扩展的能力,并大致代表了从Lenet5 (60,000个参数,0.5 MFLOP)到Resnet-34(2200万个参数,3.77 GFLOP)的知名深度学习(ML)架构的规模。
参数和深度参考套件
结果:快如闪电。
对于上述六种证明系统的参数和深度范围,得到了证明生成时间结果。
对于上述六个验证系统的参数和深度范围内的峰值记忆结果。
有关这些结果的完整内容,以及对每个系统中瓶颈的深入分析,请参考论文0的第4节。
用例及最后要点好了,上面是一些非常简洁的图表,下面是要点:
“就证明时间而言,Plonky2是迄今为止性能最好的系统,因为它使用了基于FRI和Goldilocks字段的多项式承诺。事实上,对于我们最大的基准架构,它比Halo2快三倍。然而,这是以消耗大量内存为代价的。Plonky2的性能总是很差,有时会使Halo2的峰值RAM使用率翻倍。在证明时间和内存方面,基于GKR的zkCNN证明者似乎最适合处理大型模型——即使没有优化的实现。"
那么这在实践中意味着什么呢?我们将关注两个例子:
1.Worldcoin:Worldcoin正在打造全球首个“隐私保护身份证明协议”(或PPPoPP)。换句话说,它通过将身份验证与非常独特的生物特征(虹膜)联系起来,解决了女巫攻击问题。这是一个疯狂的想法,利用卷积神经网络对存储的虹膜数据进行压缩、变换和证明。尽管他们当前的设置涉及orb硬件安全飞地中的可信计算环境,但他们希望使用ZKP来证明模型的正确计算。这将允许用户保护自己的生物特征数据,并提供加密安全性(只要它是在用户的硬件上处理的,如手机)。
现在具体点:Worldcoin的模型有180万个参数,50层。这是区分100亿个不同虹膜所必需的模型复杂度。哦亲爱的!
虽然证明Plonky2等系统可以在经过计算优化的云CPU上,在几分钟内生成这种比例模型的推理证明,但证明者的内存消耗将超过任何商用移动硬件(几十GB的RAM)。
事实上,没有任何测试系统可以在移动硬件上证明这种神经网络...
2.Aiarena: Aiarena是一款类似任天堂《星球大战》的在线平台格斗游戏。它有一个独特之处:玩家不操作头像实时战斗,而是让玩家拥有的AI模型互相竞争和战斗。是的,这听起来很酷。
随着时间的推移,AI Arena的优秀团队正在试图将他们的游戏变成一个完全没有信任的锦标赛计划。但问题是,这涉及到验证每场比赛惊人的AI计算数量的挑战。
游戏以每秒60帧的速度运行,持续3分钟。这意味着每一轮两个玩家模型之间有超过20,000个推论。以AI竞技场的一个战略网络为例。相对较小的MLP需要大约0.008秒来执行向前传送。zkCNN证明模型需要0.6秒,即每个动作需要增加1000次。
这也意味着计算成本将增加1000倍。随着单位经济对链服务变得越来越重要,开发人员必须平衡分散安全性的价值和证明生成的实际成本。
https://aws.amazon.com/ec2/pricing/
无论是上面的例子,ZK-KYC,DALL-E风格的图像生成,还是智能合约中的大语言模型,在ZKML的世界中都有完整的用例世界。然而,为了实现这一点,我们坚信ZK证明仍然需要大量的改进。尤其是为了自强不息的区块链的未来。
那么,我们应该去哪里?
我们有具体的性能数据,我们知道哪些技术在证明神经网络方面往往表现最好。当然,我们开始发现各种用例,这激励了我们不断增长的社区。
我想知道接下来会发生什么...
我将很快为您提供更多的更新;)
温馨提示:注:内容来源均采集于互联网,不要轻信任何,后果自负,本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权,请给我们来信(j7hr0a@163.com),我们会及时处理和回复。
原文地址"一文了解 ZK 在推进链上 AI 的作用":http://www.guoyinggangguan.com/qkl/178635.html。
微信扫描二维码关注官方微信
▲长按图片识别二维码