Closed ixxmu closed 2 years ago
导语
GUIDE ╲
估计肿瘤患者的疾病进展对医生来说是非常有价值的。然而,目前的临床方法并不能有效地利用可用于癌症患者的大量多模态数据。为了解决这一问题,作者构建了一个基于多模式神经网络的模型,利用临床数据、mRNA表达数据、microRNA表达数据和组织病理学全载玻片图像(WSIs)来预测20种不同癌症类型患者的生存率。
近年来,许多不同的方法被尝试利用基因组数据来预测癌症预后,比如利用基因组数据或者病理图像数据,基于一些机器学习或者深度学习方法进行预后预测研究,并且以往的研究往往主要集中在单个癌症数据集上,因此没有探索不同组织中肿瘤之间的共性和关系。今天小编给大家介绍的这篇文章是基于深度学习算法,整合了多组学的数据,进行了泛癌的预后预测,并且开发了一种自动化处理图像数据的方法,作为一篇优秀的算法文章,发表在《Bioinformatics》杂志上,题目为:Deep learning with multimodal representation for pancancer prognosis prediction。
主要数据来源是来自PanCanAtlas TCGA项目的预处理和批校正数据。此数据集中主要包含1881个microRNA,60383个基因的基因表达数据,泛癌的临床数据,其中使用了种族、年龄、性别和组织学分级变量,以及超过11000 名患者的WSIs数据。将11160 名患者的TCGA数据集按85/15的比例分为训练和测试数据集,按癌症类型进行分层,以确保在训练和测试集中的癌症分布相同。
表1更详细地描述了数据的分布。许多患者并没有所有可用的数据,这意味着可以处理缺失数据的分类器是必要的。
table1
TCGA中所有癌症部位的Kaplan-Meier生存曲线表明总生存率是组织特异性的。图1左包含了10种平均总生存率最高的癌症,图1右包含了平均总生存率最低的10种癌症。
图1
为了训练预后预测的泛癌模型,作者首先尝试将每个患者的多模态数据压缩为一个特征向量。先前的研究发现,不同的数据类型(如基因表达、临床、microRNA和图像数据)之间存在显著的相关关系,以无监督的方式学习这些关系可以显著改善预后预测过程。
考虑到多模态数据,对于每一种类型的数据,我们都使用了深度学习的方法,但是每一种类型数据的深度学习方法有所不同。对于临床数据,作者使用全连接层,sigmoid激活函数以及dropout。对于基因数据和microRNA数据,作者使用highway networks网络结构。由于数字病理图像的复杂性,作者使用卷积神经网络结构对图像数据进行编码。图2中描述了不同的架构。根据经验证据将特征空间的长度定义为512。
本研究使用了一种相对简单的采样方式来获取ROIs,作者从最高分辨率下采样200个224 × 224 像素的图像块,使用均方误差来表示每个图像块的RGB三通道颜色均值与整个数字病理图像的RGB三通道的颜色均值的差距。接下来再从这200个图像块中选出排名前40个图像块作为ROIs,确保没有代表性的图像块属于空白区域,过度染色的图像块被忽略。
这40个ROIs平均代表了整个病理图像组织区域的15%。接下来,使用SqueezeNet来对这40个ROIs进行计算,将最后一层替换为512维向量(图3)。
图3
作者 首先对无监督学习所编码的泛癌特征进行可视化。具有相似特征表示的一群患者往往拥有相同的种族、性别和肿瘤类型,尽管模型没有使用这些变量对模型进行训练(图4)。这表明神经网络模型以一种无监督的方式学习到了不同模态数据之间的联系。这些结果表明我们的无监督模型能够有效地对多模态数据进行概括和总结。
图4
结合多模态数据,利用模型的c指数来预测20个癌症部位的预后。该模型在40个ch后收敛,表明多模态退出提高了验证性能。图5表明训练过程中使用multimodal dropout可以提升验证集的C-index,这表明multimodal dropout可以有效应对缺失值带来的影响。
作者使用训练好的模型在测试集上预测单一肿瘤的预后以及泛癌的预后。比较了不同模态数据组合的结果,每种组合都包含临床数据,还评估了multimodal dropout在这些组合中的影响。发现只有在临床信息和mRNA进行组合的时候,multimodal dropout没有提高效果。
对于组合了所有模态数据的模型,在20种肿瘤中,有15种肿瘤使用multimodal dropout的时候都有C-index的提高,平均提升为2.8%。使用较少的模态数据进行组合的时候,也可以得到类似的结果。在泛癌数据上,整合了所有模态数据以后,使用multimodal dropout的C-index为0.78,不使用multimodal dropout的C-index为0.75(表2)。
作者测试由泛癌得到的模型在单一肿瘤上的效果与单一肿瘤训练的模型的效果进行比较。发现除了KIRC以外,由泛癌训练的模型在单一肿瘤上的效果均比单独训练单一肿瘤的效果更好。
分析专辑
单细胞scRNA | R包绘图 | 免疫浸润分析 | 肿瘤纯度评估工具 | 数据库
文章解读专辑
多区域进化文章精读 | 高分文章精读 | 免疫微环境文献解读
招聘信息
点击蓝字即可进入专栏!
长期诚邀师资合作
作图丫长期进行生信技能培训,诚邀有能力的团队、老师或者科研大咖合作
无论是科研写作技巧、技术分析经验还是生信流程分析,我们保证只要您有专长,作图丫就是您展示自己的舞台
如有意,请与赵老师联系,谢谢
微信:guofengzhao527
合作方式:线上课程
劳动报酬:酬劳丰厚,微信私聊
文字均为原创,欢迎读者分享或转发到朋友圈,任何公众号或其他媒体未经许可不得私自转载或抄袭。
由于微信平台算法改版,公众号内容将不再以时间排序展示,建议设置“作图丫”公众号为星标,防止丢失。星标具体步骤为:
(1)点击页面最上方“作图丫”,进入公众号主页;
(2)点击右上角的小点点,在弹出界面选择“设为星标”即可。
作图丫分析作图群进群要求:转发任一篇“zuotuya”公众号文章至微信朋友圈,并附“作图丫关注绘图和精品分析,期待你的关注”,并获得10个赞后加小编微信“guofengzhao527”邀请你加入。
https://mp.weixin.qq.com/s/QVcaHyecsCpRayD6j2T--A