医疗领域的人工智能存在偏差问题。去年，我们发现，在一个https://www.statnews.com/2019/10/24/wide-used-algorithm-hospitals-racial-bias/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>全国6000-1亿名患者将白人患者的护理协调优先于黑人患者同样程度的疾病。
原因是什么？该算法根据保险索赔数据中的费用进行训练，根据过去谁的费用昂贵来预测未来哪些病人会很昂贵。从历史上看，黑人患者比白人患者花费更少，因此该算法最终使医疗保健中存在的偏见永久化。
这就存在着在过去几年的6亿至60亿美元。Gartner预测，到2021年，75%的供应商组织将投资人工智能，以提高运营绩效或临床结果。我们自己的Jvion人工智能现在已经在300多家医院和40个医疗系统中使用，数据库包含了3000多万名患者。到目前为止，放射学在医疗保健领域遥遥领先，机器学习模型被用来检测恶性肿瘤和磁共振成像、X射线和其他扫描中的其他异常。
现在已经到了人工智能对医院在不久的将来的生存至关重要的一点，特别是在大流行病夺走了收入提供者的同时，以及越来越多的医疗机构转向以价值为基础的护理模式，将他们的财务结果与改善患者的结果联系起来。有了临床人工智能，就可以利用患者数据做出更明智的临床决策，最终改善患者的预后。
GN：在人工智能中使用狭窄的数据集会对患者产生什么影响？你能指出偏见的具体例子吗？
Dr.Crownfelter:这归结到使用的训练数据集。如果用于训练人工智能的数据中存在缺口，那么这些缺口将体现在人工智能的输出中。例如，有一个例子，面部识别软件只培训白人。当它投入使用时，它承认所有种族的人，但只承认白人。因此，如果训练数据集不能代表使用它的人群，那么它将扭曲输出。
使用狭窄的数据集也会使AI暴露于数据固有的任何偏差。如果有种族偏见的人工智能在去年被广泛报道，问题是人工智能将患者的健康风险与他们在以前的保险索赔。从历史上看，黑人患者得不到足够的医疗保健服务，因此他们的保险索赔较少。事实上，这并不意味着它们的风险更小，因为它们服务不足，它们的风险更大。人工智能所依据的假设是错误的，但是这个假设已经被植入人工智能的输出中。
狭窄的数据集，例如那些只关注保险理赔数据的数据集，也可能忽略了重要的风险因素，尤其是健康的社会经济决定因素（SDOH），这些因素首先导致了健康结果的差异。将这些因素的数据整合到人工智能模型中，使人工智能能够检测出只接受临床数据或表面水平人口统计学训练的人工智能模型可能会忽略的潜在风险。但是，即使使用社会经济数据，如果数据集不够具体，也有可能过度概括人口的特征。例如，在一个邮政编码范围内，收入或获得营养食品的机会可能有很大的差异e、 为了更准确地评估患者的社会经济或环境风险因素，您需要在美国人口普查范围内，或者更准确地说，在美国人口普查区块或区块组的水平上查看这些因素。
GN：开发人员可能存在哪些盲点，导致他们使用不充分的数据集？如何纠正这些错误？
GN：我们如何测试人工智能的偏差？终端用户将有什么动机来执行这些测试？
crownfelter博士：我们可以通过评估不同群体的预测差异来检验人工智能的偏差。测试的共同领域是种族、年龄和性别。根据研究结果，如果人工智能对不同群体的结果预测存在差异，那么更深层的问题是，这些差异是否准确地反映了人口中现有的差异，或者这些差异是否反映了人工智能模型中的偏差。可能的情况是，该模型旨在减少对人口之间现有差距的认识，但并不一定意味着这些差异不存在。
如果算法使用健康数据的社会决定因素，那么验证用于预测的不同因素的权重是否合适是很重要的。这意味着将预测的结果分布与相对于风险因素的实际结果分布进行比较。例如，这些都是虚构的数字，如果一个算法预测生活在空气质量差的地区的病人将有20%的机会患上慢性阻塞性肺病（COPD），而实际上空气质量差地区的COPD发病率是35%，最后，终端用户，换句话说，临床医生，都希望并且需要相信他们使用的人工智能没有偏见。人工智能开发者有责任证明用于训练他们算法的数据，并向用户保证这些数据是全面的风险因素和代表人群的。
GN:Jvion的方法与市场上的其他方法有何不同？
crownfelter博士：Jvion的方法使用了广泛的数据集，这些数据集解释了数千种风险因素，并且使用了来自300多家医院的3000万患者的数据，代表了我们服务的人群。我们能够在99%以上的时间内绘制出新患者的地图，而不考虑种族、性别或年龄以及其他几十种特征。
另一个不同之处在于，我们的人工智能不仅仅预测哪些患者有可能出现不良结果。它为如何改变患者的风险轨迹以获得更好的结果提供了建议。通过考虑患者的临床、行为、社会经济和环境情况，这些建议针对每个患者的独特情况进行调整，以便他们有更大的机会避免负面结果。
Jvion的方法也不同于市场上的其他解决方案，因为我们允许数据为自己说话。我的意思是，我们利用机器学习的力量来理解数据中原本不明显的新关联和关联。这方面的一个例子是，随着年龄的增长，出现的风险差异实际上是由于随着年龄的增长，伴随我们而来的潜在临床疾病的数量不断增加。年龄不是危险因素，它只是一个与实际危险因素相关的标记。我们的方法着眼于实际的风险驱动因素，而不是风险的标记。
最后，我们还通过性能建模来验证我们的人工智能，然后进行最终的结果衡量测试。平均而言，使用我们的人工智能的医院报告可预防伤害事件平均减少约30%，这意味着每年可节省数百万美元。
