《eLife》報道光電信息學院費鵬教授課題組生物圖像處理研究新進展

作者: 时间:2021-01-29 点击数:

在生命科學研究中,脑科学一直是研究的重难点。要了解功能,先观测结构。以最常用的模式动物小鼠为例,当不同实验室使用自有的成像工具在单细胞甚至更高分辨率的精度获取小鼠的全脑圖像后,如何将样本脑数据以及具有特定生物学标记的神经回路进行形态学的重建并映射到标准的小鼠大脑公共坐标框架中,是神经科學研究里一项关注的问题。现有的圖谱映射工具由于采集数据的形变量差异,多模态性以及不完整性等特征,难以基于常规的配准模型获取精准的映射结果。同时,在实现小鼠脑解剖学区域的分割注释后,缺乏区域三维模型的重建,使大脑区域间通信模式的研究,投射细胞数量的估计等具体问题较难在三维空间下进行精确分析。

2021年1月27日,我院费鹏教授课题组联合华中科技大学同济医学院韩芸耘教授课题组,在国际知名生物学期刊eLife上发表了题为“Bi-channel Image Registration and Deep-learning Segmentation (BIRDS) for Efficient, Versatile 3D mapping of Mouse Brain”的论文,开发了一种名为BIRDS的开源软件框架,用于小鼠脑三维圖像数据的映射与分析。

BIRDS框架包括圖像预处理,双通道配准,自动注释,三维数字化地圖的生成,高分辨率可视化以及可扩展的定量分析。该工作首先提出了双通道配准算法,基于小鼠脑圖像的三维几何特征和边缘纹理特征提出了一个新的特征通道用于辅助配准,新引入的特征信息不仅显著提升了同种模态间全脑数据的配准精度,在配准不同成像模态的脑数据时也表现出了优异的性能。进一步地,BIRDS软件考虑了在成像过程中,受限于成像平台,采集时间等实际因素的影响,三维配准模型无法拟合差距较大的三维轮廓信息的问题,引入了语义分割网络对残缺脑圖像进行解剖学区域的直接预测。由于神经网络解决脑圖像解剖学分割问题的难点在于极难获取的像素级精度的标签圖像,我们将双通道配准算法的结果进行残缺数据的模拟用于训练库的建立。这种协同作用为脑科學研究提供了鲁棒而高效的3D圖像分割、注释功能。

1 双通道全脑圖像配准和注释流程

基于双通道配准算法的结果,我们后续可生成对应于Allen脑研究所提供的小鼠脑公共坐标框架(CCFv3)的三维数字化地圖,以支持整个小鼠大脑中神经元的自动注释,分析和可视化。

2 小鼠全脑的三维数字化地圖,及神经元在不同脑区域投影模式的可视化与定量分析

面对常规配准流程难以处理的残缺/局部的鼠脑数据,我们在BIRDS软件中构造了常见的三种缺失模型,同时基于DeepLabv3+的语义分割网络针对鼠脑数据进行了网络结构优化。双通道配准算法可产生像素级精度的脑解剖学区域标签数据,在人工模拟下建立了1(完整脑数据):1(残缺脑数据)的训练数据库,网络预测的解剖学区域结果也可以生成残缺脑数据的三维数字化地圖。

圖 3 神經網絡預測殘缺/局部鼠脑圖像的分区。以双通道配准算法得到的脑解剖学区域信息构建训练库,同时作为高分辨基准对神经网络的分割结果进行评价,展示了神经网络在直接预测脑圖像分区上的出色性能,量化的不同区域平均Dice值可達0.86.

简言之,该工作开发了一种基于双通道配准模型与神经网络的小鼠脑圖谱3D映射软件,该软件优化了配准精度,同时摒弃了人工标注训练库,实现流程自动化且完全开源。这种新提出的双通道配准算法可适用于不同显微镜平台的跨模态小鼠脑数据,同时显示出优异的配准精度。我们的方法还将配准算法与深度学习技术相结合,不仅配准算法可以轻松的为神经网络构建训练库,神经网络也可以有效的分割残缺的小鼠脑数据,进而实现协同效应,达到高效鲁棒的脑分割/注释/圖谱生成/数据分析。我们已将这套BIRDS软件完全开源,并开发成Fiji插件,研究者可以自行下载安装,将其应用于自己的研究中。

光學與電子信息學院博士研究生王雪純,碩士研究生曾威霖,華中科技大學同濟醫學院博士研究生楊曉丹爲論文共同第一作者。光學與電子信息學院費鵬教授和華中科技大學同濟醫學院韓芸耘教授爲論文共同通訊作者。本研究在國家自然科學基金、國家重點研發計劃、武漢光電國家研究中心創新基金的資助下開展和完成。

論文鏈接:https://doi.org/10.7554/eLife.63455



华中科技大学  光学与电子信息学院  联系电话:027-87558726  邮编:430074 地址:中国?湖北省武汉市珞喻路1037号 华中科技大学东校区新光电信息大楼C6