HealthPulse AI 利用 MediaPipe 提高健康公平性

一月 18, 2024
Rouella Mendonca AI Product Lead Audere

请注意,以下博文中体现的信息、用途及应用仅反映 Audere 客座作者的观点。

关于 HealthPulse AI 及其在现实中的应用

全球每年约有 1,200 万人感染 HIV、新冠肺炎和疟疾等可防可治疾病。高于正常比例的感染水平冲击着医疗服务和资源本已匮乏的社区1。传染病和非传染病对教育、收入、预期寿命和其他健康指标都有负面影响,阻碍着人类发展2。难以获得及时、准确和可负担的诊断和护理是导致高死亡率的主要原因。

由于其成本低且相对易用,全球每年应用的快速诊断测试 (RDT) 达到约 10 亿个,并且还在不断增长。然而,RDT 的使用也存在挑战。

  • 在报告 RDT 数据时,由于病例计数虚高、缺乏对预期季节性波动的报告以及未遵守治疗方案等原因,结果往往缺乏可信度。
  • RDT 应用的护理环境分散,操作人员受到的培训有限或完全没有培训,这就增加了误用和测试结果误读的风险。

数字健康非营利组织 Audere 开发的 HealthPulse AI 旨在利用 MediaPipe 来解决这些问题。该技术通过提供数字构建模块,增加世界上应用最广泛的 RDT 的可信度。

HealthPulse AI 是一组基本模块,可以将任何数字解决方案转换为快速诊断测试 (RDT) 读取器。这些模块通过提高 RDT 的准确性、减少测试的误用,以及在分散式护理环境中扩大供应疟疾、新冠肺炎和 HIV 等疾病检测,解决了突出的全球健康问题。通过低端智能手机,HealthPulse AI 可提高 RDT 结果的准确性,同时自动数字化数据,以便进行监控、程序报告和测试验证。它提供 AI 辅助的数字捕获及结果解释,为医疗服务提供方和自测用户提供高质量、可访问的数字使用说明,并基于标准实时报告测试结果。

当地实施者、全球非政府组织、政府和私营部门药房可以通过多种形式获取这些功能,例如通过用于聊天机器人、应用程序或服务器实施的网络服务、用于任何移动应用程序的离线使用的移动 SDK 或直接通过原生 Android 和 iOS 应用程序。

它实现了创新的用例,例如保证质量的虚拟护理模型,可以便捷、无污名化地实现 HIV 居家检测,并与教育、预防和治疗方案关联。

HealthPulse AI 用例

在私营部门(例如药房)、公共部门(例如诊所)、社区计划(例如社区卫生工作者)和自我测试等用例中,HealthPulse AI 能以更民主的方式提供及时获得优质护理的机会。仅使用在低端智能手机上捕获的 RDT 图像,HealthPulse AI 就可以为临床医生提供有价值的决策支持和质量控制,从而支持虚拟护理模型,尤其是在图像线条模糊、人眼难以识别的情况下。在私营部门,目前需要对每个传入的图像和业务进行人工审核程序;而 HealthPulse AI 可以自动化和扩展激励计划,因此审核员只需要根据测试异常情况审核自动警报。在社区护理计划中,HealthPulse AI 可用作培训工具,让卫生工作者学习如何正确管理和解释测试。在公共部门,它可以通过实时疾病跟踪和对所有护理渠道结果的验证来加强监测系统,从而实现更快响应,为大规模流行病做好更充分的准备3。

HealthPulse AI 算法

HealthPulse AI 为疟疾、HIV 和新冠肺炎应用最多的 RDT 提供了 AI 算法库。每个算法都是使用机器学习 (ML) 算法训练的计算机视觉 (CV) 模型的集合。通过 RDT 图像,我们的算法可以:

  • 标记低端手机中常见的图像质量问题(模糊、曝光过度/不足)
  • 检测 RDT 类型
  • 解读测试结果

图像质量保证

在捕获 RDT 的图像时,重要的是确保人与 AI 都能识别捕获的图像,以支持上述用例。图像质量问题很常见,尤其是用低端手机在光线较差环境中拍摄图像、或者用户拍摄时手抖的情况下。因此,HealthPulse AI 提供图像质量保证 (IQA) 来识别图像冲突情况。IQA 会反馈检测到的问题,可用于请求用户重新实时拍摄照片。例如,如果没有 IQA,由于远程医疗用例中无法识别的图像和过期的 RDT 读取窗口,客户只能重新测试。通过及时标记质量问题,可以避免额外的成本和延误治疗。IQA 可能标记的一些图像冲突示例如下图 1 所示。

image4
图 1:黑暗、模糊、过亮和过小的疟疾、HIV 和新冠测试图像。

分类

低端智能手机在非洲、东南亚和拉丁美洲等人口患病比例偏高的地区很普遍,而通过这类手机 500 万像素摄像头上捕获的图像,HealthPulse AI 就可以识别特定的测试(品牌、针对的疾病等)和单个测试线,并提供测试结果的解释。我们目前的 AI 算法库支持多种最常用且经世卫组织资格预认证的疟疾、HIV 和新冠肺炎 RDT。我们的 AI 不限于特定疾病,可以轻松扩展,支持针对一系列传染性和非传染性疾病/状况(糖尿病、流感、结核病、妊娠、性传播感染等)的任何 RDT。

HealthPulse AI 能够检测图像中的 RDT 类型(用于训练模型所支持的 RDT),识别测试线,并返回具体测试结果的分类(例如阳性、阴性、无效、不可解释等)。参见图 2。

image5
图 2:对支持的侧流快速测试的解读。

我们使用 MediaPipe 的方式和原因

在基础设施不稳定的分散式护理环境中部署 HealthPulse AI 面临许多挑战。第一个挑战是缺乏可靠的互联网连接,通常需要我们的 CV 和 ML 算法在本地运行。其次,在这些场景中可用的手机通常非常旧,缺乏最新的硬件(以及< 1 GB 的 RAM 和相应的 CPU 规格);此外还要考虑不同的平台(iOS、Android、华为等)和移动平台的不同版本(一些版本可能过于老旧,无法接收操作系统更新)。这需要一个不限平台且高效的推理引擎。MediaPipe 为以图像为中心的机器学习流程提供开箱即用的多平台支持,使其能够高效地满足这些需求。

作为以成本回收模式运营的非营利组织,我们的解决方案必须符合以下要求:

  • 在全球范围内拥有广泛的影响力,
  • 维护所需投入较低,并且
  • 满足我们的目标人群对离线、低资源、高性能使用的需求。

HealthPulse AI 可使用在 MediaPipe 上构建的同一个库支持 Android、iOS 和云端设备,无需再编写大量粘合代码。

我们的流水线

MediaPipe 的图形定义使我们能够即时构建和迭代我们的推理流水线。用户提交图片后,流水线确定 RDT 类型,并尝试将检测到的 RDT 图像结果窗口截图传递给我们的分类器,对测试结果进行分类。

为了使人类和 AI 都能顺利进行解释,拥有高质量的图像非常重要。但是,输入流水线的图像不确定性很高,我们几乎无法控制。这些变量因素包括(但不限于)由于一系列智能手机摄像头功能/百万像素/物理缺陷而导致的图像质量差异,分散的测试场景(包括照明条件差异或不足),RDT 测试盒的方向的随机性,模糊和未聚焦的图像,RDT 图像不完整以及许多对 AI 增加挑战的其他冲突条件。因此,我们解决方案的一个重要组成部分是图像质量保证。每张图像都会经过许多计算器,这些计算器旨在标出可能妨碍检测器或分类器准确完成工作的质量问题。流水线会将这些问题上报到主机应用程序,因此可以在必要时实时请求最终用户重新拍摄照片。由于 RDT 结果的有效期有限(例如,RDT 制造商指定了处理结果后可以准确读取的时间窗口),IQA 对于确保及时护理和节省成本至关重要。流水线的高级流程图如下图 3 所示。

image6
图 3:HealthPulse AI 流程图

总结

HealthPulse AI 旨在支持服务匮乏、可预防传染性和非传染性疾病比例过高的社区,改善这些地区检测计划和数据的质量和丰富性。

为实现这一使命,MediaPipe 发挥了关键作用,它提供了一个平台,使 Audere 能够快速迭代和支持新的快速诊断测试。这一点必不可少,因为新的快速测试会不断进入市场,社区和家庭使用的测试可用性可能会频繁变化。此外,它的灵活性有助降低维护流水线的开销,这对于具有成本效益的运营至关重要。反过来又降低了全球政府和组织服务于最有需要群体时的使用成本。

HealthPulse AI 产品使组织和政府能够以最小的开销从诊断领域的创新成果中受益。这是初级卫生之旅的重要组成部分,可以确保资源不足社区的人口能够获得及时、有效和具有成本效益的护理。

关于 Audere

Audere 是一家全球数字健康非营利组织,致力于开发基于 AI 的解决方案,提供创新、可扩展、互联的工具来促进全球医疗服务匮乏社区的卫生公平,从而解决医疗服务中的重要问题。我们在全球健康和高科技的独特交汇点开展业务,开发先进且访问便捷的软件,彻底改变疟疾、新冠和 HIV 等疾病的检测、预防和治疗。我们拥有充满激情和创新思维的多元化团队,将以人为本的设计、智能手机技术、人工智能 (AI)、开放标准和最好的基于云的服务相结合,让全球创新者能够在中低收入环境中以新的方式提供医疗保健。Audere 主要在非洲开展业务,项目遍及尼日利亚、肯尼亚、科特迪瓦、贝宁、乌干达、赞比亚、南非和埃塞俄比亚等国家。

1 世卫组织疟疾概况介绍 2 发展中国家的传染病和非传染病负担 3 在中低收入国家 (LMIC) 利用 AI 将快速诊断测试转换为可信诊断工具