评估预部署AI模型的可靠性

基础模型是由众多深度学习模型构成的,这些模型在大量通用的未标记数据上进行了预训练。它们能够被应用于多种任务,例如生成图像或解答客户咨询。...

基础模型是由众多深度学习模型构成的,这些模型在大量通用的未标记数据上进行了预训练。它们能够被应用于多种任务,例如生成图像或解答客户咨询。

然而,作为ChatGPT和DALL-E等强大人工智能工具的核心,这些模型有时可能会提供错误或误导性的信息。在一些安全至关重要的场景中,比如行人接近自动驾驶汽车时,这些错误可能会导致严重后果。

为了避免此类错误,麻省理工学院及其IBM沃森人工智能实验室的研究人员开发了一种技术,能够在将基础模型应用于特定任务之前评估其可靠性。

他们通过训练一组略有不同的基础模型来实现这一目标。接着,他们利用算法评估每个模型在相同测试数据点上的学习表示的一致性。如果表示一致,便意味着该模型是可靠的。

在与最先进的基线方法进行比较时,他们的技术在捕捉各种分类任务中基础模型的可靠性方面表现更佳。

这种技术可以帮助用户判断一个模型是否适合特定环境,而无需在现实世界的数据集上进行测试。这在某些情况下尤其有用,例如医疗保健环境中,由于隐私问题可能无法访问数据集。此外,该技术还可以根据可靠性分数对模型进行排序,帮助用户选择最适合其任务的模型。

“所有模型都有可能出错,但能够识别出何时出错的模型更具实用性。对于这些基础模型而言,量化不确定性或可靠性变得更加复杂,因为它们的抽象表示难以进行比较。我们的方法可以帮助量化模型在特定输入数据下的可靠性,”资深作者Navid Azizan表示,他是麻省理工学院机械工程系和数据、系统与社会研究所(IDSS)的助理教授,同时也是信息与决策系统实验室(LIDS)的成员。

他与第一作者Young-Jin Park(LIDS研究生)共同撰写了关于这项工作的论文,参与者还包括麻省理工学院-IBM沃森人工智能实验室的研究科学家王浩,以及Netflix的高级研究科学家谢尔文·阿德希尔。该论文将于人工智能不确定性会议上发表。

统计共识

传统的机器学习模型通常被训练来执行特定任务,通常会根据输入做出具体预测。例如,模型可能会判断某张图片中是猫还是狗。在这种情况下,评估可靠性可能仅需查看最终预测结果,判断模型是否正确。

然而,基础模型的工作方式有所不同。它们使用通用数据进行预训练,创建者并不清楚模型将应用于哪些具体下游任务。用户在训练完成后可以让模型适应自己的特定需求。

与传统机器学习模型不同,基础模型不会给出“猫”或“狗”这样的具体标签,而是基于输入数据生成抽象表示。

为了评估基础模型的可靠性,研究人员采用了一种集成方法,训练多个具有相似特征但略有不同的模型。

“我们的思路类似于计算共识。如果所有基础模型对数据集中的任何数据都给出一致的表示,那么我们可以认为该模型是可靠的,”Park表示。

但他们面临一个挑战:如何比较这些抽象表示?

他补充道:“这些模型输出的是一个由数字组成的向量,因此我们无法轻易比较它们。”

他们通过一种称为邻域一致性的概念来解决这个问题。

在他们的方法中,研究人员准备了一组可靠的参考点来测试模型集合。然后,他们对每个模型在其表示的测试点附近的参考点进行调查。

通过观察相邻点的一致性,他们能够估计模型的可靠性。

对齐表示

基础模型在所谓的表示空间中映射数据点。我们可以将这个空间视为一个球体。每个模型将相似的数据点映射到其球体的同一区域,因此猫的图像会集中在一个地方,而狗的图像则在另一个地方。

然而,每个模型在其领域内绘制的动物地图可能不同,因此当猫可能被分组在一个球体的南极时,另一个模型可能在北半球的某个位置绘制猫的地图。

研究人员使用邻近点作为锚来对齐这些球体,从而使表示具有可比性。如果一个数据点的邻居在多个表示中一致,那么我们可以对该点的模型输出的可靠性充满信心。

在对广泛的分类任务进行测试时,他们发现这种方法比基线方法更具一致性。此外,它不会因为挑战测试点而导致其他方法失效。

此外,他们的方法可以用于评估任何输入数据的可靠性,因此可以评估模型对特定类型个体(例如具有某些特征的患者)的效果。

王表示:“即使所有模型的整体性能处于平均水平,从个体的角度来看,你也会更倾向于选择最适合自己的模型。”

然而,一个限制在于他们必须训练一个大型基础模型的集合,这在计算上是昂贵的。未来,他们计划寻找更高效的方法来构建多个模型,或许可以通过对单个模型进行小扰动来实现。

本文来自作者[svs]投稿,不代表立场,如若转载,请注明出处:http://liyuanfurniture.cn/post/5398.html

(257)

文章推荐

  • 宝马760售价多少钱一台?

      宝马760多少钱一台?这是很多人对于宝马760这款豪华轿车的关注点。在这篇SEO文章中,我们将为您详细介绍宝马760的价格以及相关信息。  宝马760是宝马7系的旗舰车型,以其卓越的性能和豪华的配置而闻名。作为一款高端豪华轿车,宝马760的价格自然不菲。根据市场调查和官方指导价,宝马760的

    2024年09月02日
    807
  • 绍兴东风风行风行T5火热促销!底价6.49万!今日钜惠,限时抢购!

      在【易车绍兴本地车市优惠促销频道】上,我们为您整理了当前的优惠活动。说到风行T5,这款车的降价幅度真是让人惊掉下巴,最高优惠竟然能达到1.5万元,最低起售价仅为6.49万元!想要争取更大的优惠?只需点击报价表格中的“询价”按钮,轻松搞定。如果您在寻找一款既实用又划算的车型,风行T5绝对值得一看。

    2024年09月05日
    822
  • 日抓是什么?探究日本独特的抓鱼技术

      日抓是什么?了解日抓的定义和作用  在网络营销领域,日抓是指每日抓取网站数据并进行分析的一种行为。通过日抓,可以及时了解网站的流量、访问量、用户行为等数据,帮助网站管理员或营销人员做出有效的决策和优化。日抓的主要目的是监控网站的运营情况,及时发现问题并进行调整,以提升网站的用户体验和营销效果

    2024年09月12日
    788
  • 卡拉宝杯战平:热刺带来了噩梦般的任务,但对阿森纳和曼联来说却是好消息"(真的有挂)-知乎

      托特纳姆热刺将在卡拉宝杯的第四轮中迎战曼城。波斯特科格洛表示,他对俱乐部本赛季争夺奖杯充满信心,但要想晋级,必须战胜瓜迪奥拉的球队。对热刺而言,利好消息是瓜迪奥拉已表明卡拉宝杯并非优先目标,并确认不会让主力球员在比赛中冒险。在曼

    2024年11月25日
    227
  • 美国法官否决了对特朗普的两项刑事指控

      一位美国法官驳回了乔治亚州对共和党总统候选人唐纳德·特朗普的2020年选举干预案的两项刑事指控,以及针对其盟友的另一项刑事指控。所有文章都来自我们的网站和应用程序让直接到你的收件箱互动填字游戏,数独和琐事的所有文章从其他在你的地区

    2024年12月04日
    175
  • 金色下午的乡村日记:向日葵的受欢迎

      整个夏天,我目睹着向日葵茁壮成长。它们从脆弱的幼苗长成粗壮的植物,然后在我头顶上绽放出巨大的阳光。现在,它们丰满的软垫里塞满了正在发育的种子,它们外面的“花瓣”——射线状的小花——正在变干和扭曲。与其他雏菊一样,这些花头由放射状小花和圆盘状小花组成。鲜艳的外带

    2024年12月04日
    186
  • 鲍里斯·约翰逊和哈里王子的对话:反思与激励,阻止“Megxit”

      鲍里斯·约翰逊表示,他与哈里王子为阻止“Megxit”而进行的“男子气概的鼓舞谈话”是“史诗般的浮夸时刻”。约翰逊先生在早餐时接受了伦敦广播公司的尼克·法拉利的采访,他说他喜欢哈里和梅根,也喜欢他们在“梅根脱欧”之前致力于的事业。此前有消息

    2024年12月04日
    226
  • Meta首席执行官马克·扎克伯格一度成为世界上第三富有的人

      根据《福布斯》的报道,Meta的首席执行官马克·扎克伯格曾短暂地成为全球第三富有的人物。在他跌回第四位后不久,又超越了法国奢侈品巨头伯纳德·阿尔诺。这一变化发生在Meta股价大幅上涨的背景下,而阿尔诺所掌控的路威酩轩集团(LVMH)的股价则出现小幅下跌。扎

    2024年12月08日
    215
  • “最低工资应至少为2000令吉,以支付生活费用”

      在八打灵查亚,经济学家和劳动专家指出,考虑到当前的经济形势,我国的最低工资应至少设定为每月2000令吉,以满足基本生活需求。主要经济学家杰弗里·威廉姆斯博士表示,基于上次最低工资上调后的通货膨胀情况,新的最低工资应在1600令吉左右,但这仍然偏低,因为在扣

    2024年12月09日
    207
  • “错误信息扩音器”:马斯克在美国大选前加剧紧张局势

      华盛顿:埃隆·马斯克向他的2亿粉丝发布了煽动性、误导性的帖子,招致了批评,称他通过充满错误信息的有影响力的平台,在已经两极分化的美国大选之前加剧了政治温度。研究人员担心,可能没有什么能阻止支持唐纳德·特朗普的马斯克使用X(以前的Twitter)和他的个人账

    2024年12月14日
    171

发表回复

本站作者后才能评论

评论列表(4条)

  • svs
    svs 2024年12月01日

    我是的签约作者“svs”!

  • svs
    svs 2024年12月01日

    希望本篇文章《评估预部署AI模型的可靠性》能对你有所帮助!

  • svs
    svs 2024年12月01日

    本站[]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • svs
    svs 2024年12月01日

    本文概览:基础模型是由众多深度学习模型构成的,这些模型在大量通用的未标记数据上进行了预训练。它们能够被应用于多种任务,例如生成图像或解答客户咨询。...

    联系我们

    邮件:@sina.com

    工作时间:周一至周五,9:30-18:30,节假日休息

    关注我们