AI打败AI!瑞莱智慧发布全新RealSafe,自动对齐研究员方法落地
2023 7月 09 By astrill怎么买 0 comment

允中 发自 凹非寺

量子位 | 公众号 QbitAI

最近,OpenAI宣布,表示计划投入更多资源并成立新的研究团队,研究如何确保人工智慧对人类的安全性,最终实现用人工智慧来监督人工智慧,并提出了新概念「自动对齐研究员」。

无独有偶,2023WAIC世界人工智慧大会上,RealAI已将「自动对齐研究员」这一人工智慧安全提升方法落地了。

清华大学人工智慧研究院孵化企业瑞莱智慧RealAI发布全新人工智慧安全平台RealSafe3.0,该平台功能与OpenAI提出的「自动对齐研究员」类似——

通过自动化的训练方法优化大模型,以期在通用人工智慧加速赋能人类社会的同时,为人类筑起抵御人工智慧威胁的安全之盾。

瑞莱智慧联合创始人、演算法科学家萧子豪认为,大模型「落地难」的本质在於,当前仍处於「野蛮生长」阶段,还没有找到场景、风险和规范三者之间的平衡点。而在探寻这一平衡点的过程中,缺少易用和标准化的工具,即在技术层面上缺乏有力抓手,能够科学评判大模型在场景中能否同时满足规范和低风险,且能够进一步定位问题并给出优化建议,助力模型上线运行。

集成主流及RealAI独有的世界领先的安全评测技术,RealSafe3.0版本能够提供端到端的模型安全性测评解决方案,解决当前通用大模型安全风险难以审计的痛点问题。

相较上一版本,RealSafe3.0新增了对通用大模型的评测,在评测维度上,它已覆盖数据安全、认知任务、通用模型特有漏洞、滥用场景等近70个评测维度,全方位多维度地评测通用大模型的性能,且未来还会持续扩增测评维度的数量。

对黑盒不可解释的通用大模型,自研红队对抗模型取代人工设计问题。该模型数据集中,不仅包含了自有数据集,还包含了模型自生成的数据,因此它能够自动化地挖掘出更多的漏洞,真正从源头上缓解安全问题。

教练模型则通过对被测大模型进行多轮次的提问-回答训练,并以训练好的评分模型对问答结果进行评分,再将评分结果反馈给大模型,使其不断强化学习到好坏答案的要点及区别,直至问答能力逐步迭代至最优。

除了定制化的训练框架,教练模型理想的模型效果还得益於夯实的数据基础,瑞莱智慧自有数据集经过数十位价值观领域的专家论证,以确保输入的数据无误,质量高且领域多元,未来也将持续更新补充。

除此之外,瑞莱智慧还升级了能够防范生成式人工智慧恶意滥用的DeepReal2.0。

据悉,DeepReal此前名为深度伪造内容检测平台,现已正式更名为生成式人工智慧内容检测平台,因为它除了能够检测Deepfake内容,还新增两个功能模块,可以检测Diffusion、LLM这两类新方法生成的数据,支持对图像、视频、音频、文本进行是否伪造的检测。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

喜欢这篇文章吗?立刻分享出去让更多人知道吧!

本站内容充实丰富,博大精深,小编精选每日热门资讯,随时更新,点击「抢先收到最新资讯」浏览吧!

请您继续阅读更多来自 量子位 的精彩文章:

※纯路端感知实现L4自动驾驶!全球首次,轻车熟路,背後玩家是他们

astrill怎么买

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论