打开医疗AI
黑箱

基娅拉·隆戈尼（Chiara Longoni）罗曼·卡达里奥（Romain Cadario）

卡雷·莫韦奇（Carey K. Morewedge） ｜ 文

刘隽 |编辑

人工智能（AI）支持的诊断治疗应用正日渐广泛地为消费者所用；有些甚至可以通过智能手机访问。例如，谷歌最近宣布以一种基于AI的工具进军这一市场，它可以帮助人们辨识皮肤、头发和指甲方面的疾病。然而，采用这些技术的一个主要障碍是，消费者对医疗AI的信任程度通常不及人类医疗卫生提供者。他们认为医疗AI无法满足他们的独特需求，其诊疗表现无法与对等的人类医疗提供者同日而语，而且他们觉得自己不能像对人追责那样追究AI的责任。

这种对医疗领域AI的抵触给希望改善医疗卫生的决策者和销售创新医疗服务的企业带来了挑战。我们的研究提供的见解可以用来克服这种抵触。

在最近发表在《自然-人类行为》（Nature Human Behaviour）上的一篇论文中，我们证明，消费者对医疗AI的采用既与他们对AI医疗提供者的消极看法有很大关系，又与他们对人类医疗提供者不切实际的积极看法有很大关系。消费者不愿意依赖AI医疗提供者，因为他们认为自己不了解，或者说客观上不了解AI如何做出医疗决策；他们将其决策视为一个黑箱。消费者也不愿意使用医疗AI，因为他们错误地认为他们更了解人是如何做出医疗决策的。

我们的研究 包括对 2699 位具有全国代表性的便利样本进行的五项在线实验以及对谷歌广告进行的一项在线实地研究 表明，消费者对医疗AI如何得出其结论知之甚少。比如，我们对具有全国代表性的美国人样本进行了测试，看看他们对AI医疗提供者如何做出医疗判断（比如皮肤上的痣是恶性还是良性的）有多大程度的了解。参与者的表现无异于瞎猜；如果他们胡乱选择答案，结果会是一样的。不过，参与者意识到了他们的无知：他们认为自己对AI医疗提供者如何做出医疗判断的了解程度很低。

相比之下，参与者高估了他们对人类医生如何做出医疗决定的了解程度。尽管我们的实验参与者对AI医疗提供者和人类医疗提供者所做的决策几乎同样没有实际性的了解，但他们却声称对人类决策的运作方式有更好的了解。

在一项实验中，我们要求具有全国代表性的 297 名美国居民在线样本报告他们在多大程度上了解对医生或算法如何检查他们的皮肤图像来识别皮肤癌症病变。然后我们要求他们解释人类或算法医疗提供者的决策过程。（这种类型的干预以前曾被用来打破人们觉得自己对因果过程的了解多么透彻这一虚幻看法。比如，大多数人认为自己了解直升机的工作原理，只有当你要求他们解释它是如何工作时，他们才意识到自己对其一无所知。）

在参与者试图提供某种解释后，他们再次就自己对人类或算法医疗决策过程的了解程度进行了评估。我们发现，强迫人们解释人类或算法医疗提供者的决策过程，会降低参与者感觉自己对人类医疗提供者决策的了解程度，但不会降低他们感觉对算法医疗提供者决策的了解程度。这是因为他们对医生如何做出决定的主观理解被夸大了，他们对AI医疗提供者如何做出决定的主观理解没有因必须提供解释而受到影响 可能是因为他们已经觉得后者是一个黑箱。

在对具有代表性的 803 名美国人样本进行的另一项实验中，我们既评估了人们主观上感觉自己对人类或算法诊断皮肤癌决策过程的了解程度，然后又对他们进行了测试，看看他们对这些过程的真实了解程度。为此，我们在医学专家的帮助下制定了一个测验，他们是来自荷兰某医学院的皮肤科医生团队和欧洲一款流行皮肤癌检测应用程序的开发者团队成员。我们发现，尽管参与者报告称对算法所做医疗决策的主观了解逊于对人类提供者所做决策的了解，但他们对人类和算法医疗提供者所做决策的真实了解同样有限。

政策制定者和企业如何才能鼓励消费者使用医疗AI ？

我们发现了两种成功的、略有差异的干预措施，涉及解释医疗提供者 无论是算法还是人类 如何做出医疗决策。在一项实验中，我们解释了两种类型的提供者如何使用ABCD框架（不对称性、边界、颜色和直径）来检查某颗痣的特征，以进行恶性风险评估。在另一项实验中，我们解释了两种类型的提供者如何核验目标痣与其他已知恶性痣之间的视觉相似性。

通过增加对算法决策的感知理解，这些干预措施成功地减少了对算法决策与人类决策感知理解上的差异。反过来，这些干预措施又增加了参与者利用算法医疗提供者的意愿，同时又不会降低他们利用人类医疗提供者的意愿。

这些干预措施的效力并不局限于实验室。在对谷歌广告的一项实地研究中，我们让用户在搜索结果中看到针对某一皮肤癌筛查应用的两则不同广告中的一则。一则广告没有解释，另一则简要解释了算法的工作原理。在为期五天的广告宣传活动之后，解释算法工作原理的那则广告产生了更多的点击量和更高的点进率。

基于AI的医疗卫生服务有助于向发达国家和发展中国家消费者提供高质量和可负担服务。我们的研究结果表明，更大的透明度 打开AI黑箱 可以帮助实现这一重要任务。

基娅拉·隆戈尼是波士顿大学凯斯特罗姆商学院（Boston University’s Questrom School of Business）营销学助理教授。罗曼·卡达里奥是伊拉斯谟大学鹿特丹管理学院（Erasmus University’s Rotterdam School of Management）营销学助理教授。卡雷·莫韦奇是波士顿大学营销学教授，Everett W. Lord杰出教师学者。