牙齿疾病是一种常见的慢性疾病，与糖尿病、心血管疾病等全身性疾病有关，对患者造成痛苦并带来沉重的经济负担。美国牙科协会推荐每天刷牙两次，每次两分钟，以预防牙齿疾病。然而，由于遗忘和缺乏动力等因素，患者的依从性往往不佳。 mHealth 干预和工具可以帮助患者在诊所就诊之间进行高质量的口腔自我护理行为。
本文介绍的Oralytics 是一个 mHealth 干预系统，旨在通过提示来鼓励 OSCB。该系统包括一个蓝牙连接的电动牙刷、一个智能手机应用程序、一个在线强化学习算法。
Oralytics 应用程序
1 方法
在线强化学习算法用于在线学习，决定何时发送干预提示以鼓励口腔自我护理行为。算法的核心是一个广义汤普森采样上下文赌博机算法，具体步骤如下：
- 状态表示：算法状态包括当前个体的上下文信息，如过去一周和前一天的OSCB和应用程序参与度。
- 动作选择：算法使用最新的奖励模型来建模给定状态下动作的优势，并使用广义逻辑函数来确保策略的集中性和可重复性。
- 更新机制：算法每周日早晨使用所有参与者的数据更新奖励模型的参数后验分布，并根据新的后验分布选择当周的治疗。
- 奖励模型：奖励模型是一个贝叶斯线性回归模型，用于估计给定状态下动作的期望奖励。
2 实验设计
2.1 数据收集
Oralytics临床试验从洛杉矶UCLA牙科诊所招募参与者，共招募了79名参与者，每位参与者贡献70天的数据。由于工程问题，7名参与者的数据未被正确保存，因此分析中使用了72名参与者的数据。
2.2 实验流程
每日调度作业触发批量数据更新和动作选择过程，每周日调度作业触发策略更新过程。RL服务执行批量数据更新、动作选择和策略更新三个主要过程。
2.3 软件组件
Oralytics软件服务包括主控制器、Oralytics应用程序和RL服务。主控制器处理参与者注册、传感器数据拉取和格式化以及与移动应用程序的通信。RL服务执行批量数据更新、动作选择和策略更新。
3 结论
3.1 备用方法的有效性
在 Oralytics 试验期间，出现了各种工程和网络问题，备用方法有效地解决了这些问题，并避免了需要对 RL 算法进行临时的更改。
备用方法的实施是一个值得的投资，因为它提高了系统的健壮性和可重复性。
3.2 完全池化的有效性
重采样分析表明，与无池化算法相比，完全池化算法在模拟环境中实现了更高的平均 OSCB 和第一分位数 OSCB。
尽管试验参与者可能存在异质性，但完全池化算法仍然是值得的，因为它能够在高噪声环境中减少噪声并加快学习速度。
3.3 RL 算法的有效性
重采样分析表明，Oralytics RL 算法确实学会了在某些状态下发送提示是有效的，而在其他状态下则无效。
这表明状态空间设计是合理的，因为一些状态特征帮助算法区分了这些状态。
三个有趣的状态被突出显示：
- 在某些状态下，算法学会了发送提示是有效的，并且重采样分析表明这种证据是真实的。
- 在某些状态下，算法学会了发送提示是无效的，并且重采样分析表明这种证据是真实的。
- 在某些状态下，重采样分析表明学习效果很可能是偶然的。