麻省理工学院的研究人员正在采用新颖的机器学习技术，通过减少胶质母细胞瘤的毒性化学疗法和放疗剂量来改善患者的生活质量，胶质母细胞瘤是脑癌最具有侵略性的形式。胶质母细胞瘤是一种恶性肿瘤，出现在大脑或脊髓中，成人预后不超过五年。患者必须忍受放疗和每月服用多种药物的组合。医学专业人员通常施用最大安全药物剂量以尽可能缩小肿瘤。但是这些强大的药物仍然会给患者带来令人衰弱的副作用。

麻省理工学院媒体实验室的研究人员在斯坦福大学举行的2018年机器学习用于医疗保健会议上发表的论文中，详细介绍了一种模型，该模型可以降低给药方案的毒性但仍然有效。在“自学习”机器学习技术的支持下，该模型可以查看当前使用的治疗方案，并迭代地调整剂量。最终，它找到了一种最佳的治疗计划，即以尽可能低的效力和剂量频率将肿瘤的大小缩小到与传统疗法相当的程度。

麻省理工学院的研究人员旨在通过机器学习模型来改善胶质母细胞瘤(胶质母细胞瘤)的生活质量，胶质母细胞瘤是脑癌中最具有侵略性的一种形式，该模型使化学疗法和放射疗法的给药方案毒性较小，但仍与人为设计的方案一样有效。学分：麻省理工学院

在50名患者的模拟试验中，机器学习模型设计了治疗周期，将治疗效力降低到几乎所有剂量的四分之一或一半，同时保持了相同的缩小肿瘤的潜力。很多时候，它完全跳过剂量，每年只调度两次而不是每月一次。

“我们的目标是，必须通过减小肿瘤的大小来帮助患者，但与此同时，我们要确保生活质量(给药毒性)不会导致疾病的泛滥和有害的副作用，”负责这项研究的媒体实验室首席研究员Pratik Shah说。

该论文的第一作者是媒体实验室研究员Gregory Yauney。

奖励好选择

研究人员的模型使用了一种称为强化学习(RL)的技术，该方法受到了行为心理学的启发，其中模型学会了偏爱某些行为，从而导致了预期的结果。

该技术包括人工智能“代理”，它们可以在无法预测的复杂环境中完成“动作”以达到所需的“结果”。只要行动完成，行动者就会收到“奖励”或“惩罚”，这取决于行动是否对结果起作用。然后，代理会相应地调整其操作以实现该结果。

奖励和惩罚基本上是正数和负数，例如+1或-1。它们的值随所采取的行动而变化，行动是根据结果成功或失败的概率以及其他因素来计算的。代理实质上是试图根据奖励和惩罚值在数值上优化所有操作，以达到给定任务的最大结果得分。

该方法用于训练计算机程序DeepMind，该程序在2016年成为游戏“ Go”中击败世界上最好的人类玩家之一的头条新闻。它还用于训练无人驾驶汽车，例如合并到交通或停车中，在那里汽车会反复练习，调整路线，直到正确为止。

研究人员为成胶质细胞瘤治疗改编了RL模型，该模型使用替莫唑胺(TMZ)和丙卡巴嗪，洛莫司汀和长春新碱(PVC)联合使用，历时数月或数月。

该模型的主体通过传统的管理方案进行梳理。这些方案基于已经在临床上使用了数十年的方案，并且基于动物测试和各种临床试验。肿瘤学家使用这些既定的方案来根据体重预测要给患者多少剂量。

当模型探索方案时，在每个计划的给药间隔(例如每月一次)时，它都会决定采取几种措施中的一种。首先，它可以启动或保留剂量。如果确实给药，则它决定是否需要全部剂量或仅一部分剂量。在每个动作中，它都会触发另一个临床模型(通常用于预测肿瘤对治疗的反应)，以查看该动作是否缩小了平均肿瘤直径。如果是这样，该模型将获得奖励。

但是，研究人员还必须确保该模型不仅能给出最大剂量和最大剂量。因此，无论何时该模型选择全部使用全剂量，都会受到惩罚，因此选择较少，较小的剂量。莎阿说：“如果我们要做的就是减小平均肿瘤直径，并且让它采取任何想要的行动，那将是不负责任的药物管理方式。” “相反，我们说，'我们需要减少为达到该结果而采取的有害行动。'”

Shah说，这代表了“非正统的RL模型，该模型首次在本文中进行了描述”，该模型权衡了行动(剂量)与结果(肿瘤减少)的潜在负面后果。传统的RL模型会朝着单个结果(例如赢得比赛)努力，并会采取使该结果最大化的任何和所有动作。另一方面，研究人员的模型在每次动作时都可以灵活地找到剂量，不一定能最大程度地减少肿瘤，但可以在最大程度减少肿瘤和降低毒性之间取得完美的平衡。他补充说，该技术具有多种医学和临床试验应用，在这些应用中，必须规范治疗患者的措施，以防止有害的副作用。

最佳方案

研究人员在50名模拟患者中训练了该模型，这些患者是从以前接受过传统治疗的大量胶质母细胞瘤患者数据库中随机选择的。该模型为每位患者进行了大约20,000次试错测试。训练完成后，该模型将学习最佳方案的参数。当给新患者使用时，该模型将使用这些参数根据研究人员提供的各种约束条件制定新的治疗方案。

研究人员随后在50名新模拟患者上测试了该模型，并将结果与​​同时使用TMZ和PVC的常规方案的结果进行了比较。如果不加剂量，该模型将为人类专家设计几乎相同的方案。但是，给与大小剂量的罚款，它可以大大减少剂量的频率和效力，同时减小肿瘤的大小。

研究人员还设计了该模型，以分别或在单个队列中对每个患者进行治疗，并获得了相似的结果(研究人员可以获取每个患者的医学数据)。传统上，将相同的给药方案应用于一组患者，但是肿瘤大小，病史，遗传特征和生物标志物的差异都可以改变患者的治疗方式。沙阿说，在传统的临床试验设计和其他治疗方法中没有考虑这些变量，这通常会导致在大批人群中对治疗的反应较差。

“我们(对模型)说，'您是否必须对所有患者使用相同剂量?它说：“不。我可以给这个人四分之一的剂量，给这个人一半的剂量，也许我们跳过给这个人的剂量。” 这是这项工作中最令人兴奋的部分，通过使用非正统的机器学习架构进行单人试验，我们能够产生基于药物的精确治疗。”