来源:量子位
作者:萧箫
大模型们胡说八道太严重,英伟达看不下去了。
他们正式推出了一个新工具,帮助大模型说该说的话,并回避不应该触碰的话题。
这个新工具名叫“护栏技术”,相当于给大模型加上一堵安全围墙,既能控制它的输出、又能过滤输入它的内容。
一方面,用户诱导大模型生成攻击性代码、输出不道德内容的时候,它就会被护栏技术“束缚”,不再输出不安全的内容。
另一方面,护栏技术还能保护大模型不受用户的攻击,帮它挡住来自外界的“恶意输入”。
a16z过去24小时向SolidLizard和Solidly V2两个协议注入资金:金色财经报道,据链上分析师@0xsurferboy在社交媒体上发布的数据显示,a16z在过去24小时内一直在向SolidLizard和Solidly V2两个协议注入资金。1天前,a16z的投资组合中SolidLizard的锁定资金为200万美元,Solidly为0美元,就在约14小时前,a16z买入并在WETH-USDC池中又增加了150万美元,APR为58%-145%,695枚SLIZ被锁定,APR约为130%。而在大约4小时前,a16z又向USDC-USDT Solidly V2池中增加了520万美元,这一系列操作迅速将SolidLizard锁仓量推升到6030万美元并跻身Arbitrum链上锁仓量排名前十,而一周前SolidLizard锁仓量仅为1200万美元,目前增幅达到400%。[2023/2/20 12:18:00]
现在,这个大模型护栏工具已经开源,一起来看看它的效果和生成方法。
a16z创始人:比特币创新“基本上停止发展”,将重点关注以太坊:金色财经报道,a16z 创始人 Marc Andreessen 在最新接受采访时表示,比特币虽然是一种技术创新,但“基本上已停止了发展”,他现在将目光投向了以太坊并认为以太坊将会成为转型核心。Marc Andreessen 解释说:“现在最大的项目是以太坊,不是比特币,或者我会说是加密货币或 Web3 而不是比特币。Web3 中可以开展业务、可以获利、可以进行交易并获得信任,随着区块链技术突破,我们现在知道该怎么做,现在已拥有能够做到这一点的技术基础。”(blockworks)[2023/2/9 11:57:31]
防止大模型胡言乱语的三类“护栏”
根据英伟达介绍,目前NeMoGuardrails一共提供三种形式的护栏技术:
以太坊Layer 2总锁仓量回升至37.9亿美元:7月11日消息,据L2BEAT数据显示,当前以太坊Layer 2总锁仓量回升至37.9亿美元,7日涨幅0.47%。其中,锁仓量前五分别为Arbitrum(19.9亿美元,7日涨幅2.47%)、Optimism(7.12亿美元,7日跌幅3.49%)、dYdX(5.79亿美元,7日跌幅6.14%)、Loopring(1.71亿美元,7日涨幅3.73%)、Metis Andromeda(0.95亿美元,7日涨幅6.11%)。[2022/7/11 2:04:45]
话题限定护栏、对话安全护栏和攻击防御护栏。
a16z合伙人Chris Dixon:Twitter或Discord这样的消息服务应建立在开源协议上:金色财经报道,a16z合伙人Chris Dixon在推特上发文称,诸如Twitter或Discord这样的消息服务应建立在开源协议上,就像电子邮件E-mail一样。但是,也许有人会问,建立在开源协议上的消息服务如何盈利呢?Chris Dixon认为,如今在开源的SMTP协议(当然还有HTTP协议)上已经构建了数千亿美元的业务,因此不用担心盈利问题;对于“出现类似垃圾邮件和其他坏事情”这个问题,Chris Dixon表示,与 SMTP 和 HTTP 开源协议一样,我们有合法的系统,加上合规提供者(gmail 等)可以过滤(但由于用户转换成本低而被限制变坏)。还有人质疑,既然开源协议这么好,为什么这么多年没有奏效呢?Chris Dixon解释说,对于最终可行的技术,大多数人都会有这样的想法。实际上,如今互联网已经有许多创新工具了,比如在互联网上出现了新的存储信息方法,可以让用户控制信息而不是由企业控制信息,也有利用开放协议来募集资金的创新方法。[2021/12/1 12:42:30]
话题限定护栏,简单来说就是“防止大模型跑题”。
大模型具备更丰富的想象力,相比其他AI更容易完成创造性的代码和文字编写工作。
但对于特定场景应用如写代码、当客服而言,至少用户不希望它在解决问题时“脱离目标范围”,生成一些与需求无关的内容。
这种情况下就需要用到话题限定护栏,当大模型生成超出话题范围的文字或代码时,护栏就会将它引导回限定的功能和话题上。
对话安全护栏,指避免大模型输出时“胡言乱语”。
胡言乱语包括两方面的情况。
一方面是大模型生成的答案中包括事实性错误,即“听起来很有道理,但其实完全不对”的东西;
另一方面是大模型生成带偏见、恶意的输出,如在用户引导下说脏话、或是生成不道德的内容。
攻击防御护栏,即防止AI平台受到来自外界的恶意攻击。
这里不仅包括诱导大模型调用外部病APP从而攻击它,也包括黑客主动通过网络、恶意程序等方式攻击大模型。护栏会通过各种方式防止这些攻击,避免大模型瘫痪。
所以,这样的护栏要如何打造?
如何打造一个大模型“护栏”?
这里我们先看看一个标准的“护栏”包含哪些要素。
具体来说,一个护栏应当包括三方面的内容,即格式规范、消息和交互流。
首先是格式规范,即面对不同问题的问法时,规定大模型要输出的内容。
例如被问到“XX文章是什么”,大模型必须给出特定类型的“文章”,而非别的东西;被问到“谁发表了什么”,大模型必须给出“人名”,而非别的回答。
然后是消息定义,这里以“用户问候”话题为例,大模型可以输出这些内容:
最后是交互流的定义,例如告诉大模型,怎么才是问候用户的最好方式:
一旦问候用户的机制被触发,大模型就会进入这个护栏,规规矩矩地问候用户。
具体工作流程如下:首先,将用户输入转换成某种格式规范,据此生成对应的护栏;随后,生成行动步骤,以交互流指示大模型一步步完成对应的操作;最后,根据格式规范生成输出。
类似的,我们就能给大模型定义各种各样的护栏,例如“应对用户辱骂”的护栏。
这样即使用户说出“你是个傻瓜”,大模型也能学会冷静应对:
目前,英伟达正在将护栏技术整合进他们的AI框架NeMo中,这是个方便用户创建各种AI模型、并在英伟达GPU上加速的框架。
对“护栏”技术感兴趣的小伙伴们,可以试一试了~
郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。