医疗领域的人工智能存在偏差问题。去年,我们发现,在一个https://www.statnews.com/2019/10/24/wide-used-algorithm-hospitals-racial-bias/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>全国6000-1亿名患者将白人患者的护理协调优先于黑人患者同样程度的疾病。
原因是什么?该算法根据保险索赔数据中的费用进行训练,根据过去谁的费用昂贵来预测未来哪些病人会很昂贵。从历史上看,黑人患者比白人患者花费更少,因此该算法最终使医疗保健中存在的偏见永久化。
这就存在着在过去几年的6亿至60亿美元。Gartner预测,到2021年,75%的供应商组织将投资人工智能,以提高运营绩效或临床结果。我们自己的Jvion人工智能现在已经在300多家医院和40个医疗系统中使用,数据库包含了3000多万名患者。到目前为止,放射学在医疗保健领域遥遥领先,机器学习模型被用来检测恶性肿瘤和磁共振成像、X射线和其他扫描中的其他异常。
GN:在人工智能中使用狭窄的数据集会对患者产生什么影响?你能指出偏见的具体例子吗?
使用狭窄的数据集也会使AI暴露于数据固有的任何偏差。如果有种族偏见的人工智能在去年被广泛报道,问题是人工智能将患者的健康风险与他们在以前的保险索赔。从历史上看,黑人患者得不到足够的医疗保健服务,因此他们的保险索赔较少。事实上,这并不意味着它们的风险更小,因为它们服务不足,它们的风险更大。人工智能所依据的假设是错误的,但是这个假设已经被植入人工智能的输出中。
GN:开发人员可能存在哪些盲点,导致他们使用不充分的数据集?如何纠正这些错误?
皱眉博士:最近的分析显示,许多数字图像人工智能算法仅用三个学术机构的数据进行训练州。这是一个巨大的盲点。为了解决这些盲点,人工智能开发人员应该使用能够反映算法所针对的人群的训练数据。使用更完整和更具代表性的数据,而不是仔细挑选选定的数据点,将减少输出中的偏差。我们在Jvion的人工智能是根据客户医院的患者数据进行培训的,几乎每个州都有3000万患者,因此它具有固有的代表性。
GN:我们如何测试人工智能的偏差?终端用户将有什么动机来执行这些测试?
最后,我们还通过性能建模来验证我们的人工智能,然后进行最终的结果衡量测试。平均而言,使用我们的人工智能的医院报告可预防伤害事件平均减少约30%,这意味着每年可节省数百万美元。