我院費鵬教授課題組深度學習顯微成像技術研究成果在《Optica》上發表

作者: 时间:2020-11-19 点击数:

三维荧光显微成像,如共聚焦、双光子、光片显微镜等系列技术,如今在各种生命科學研究中得到广泛应用,是一类不可或缺的强力工具。但三维显微成像目前受制于有限的光学通量,即存在成像速度与空间分辨率之间的妥协。例如使用低倍率物镜,短曝光,大轴向扫描步长可在短时间内完成对样本的成像,但所获取的图像却受低分辨率、高背景噪声的困扰,难以进行后续基于图像的生物医学分析。反向行之,虽可获得精准的高分辨率图像,但速度大为降低,在很多应用中无法捕捉动态过程,或导致成像耗时过长。在生命科學研究对观测的需求日益提高的今天,这种两难的矛盾愈加凸显。

針對此問題,華中科技大學光學與電子信息學院、武漢光電國家研究中心費鵬教授研究團隊于20201118日在國際光學著名期刊Optica上發表了題爲Exceeding the limit of 3D fluorescence microscopy by dual-stage-processing network”的研究論文,提出了一種兩段漸進式的圖像增強神經網絡DSP-Net,大幅提升現有三維熒光顯微術的成像通量。相較于目前簡單的端對端深度學習模型有限的圖像增強/複原能力,該研究提出的新型漸進式深度學習模型更精細地將熒光成像中的光學降質(模糊)和采樣降質(像素化)進行分段子網絡建模,同時交互數據訓練過程,共享神經網絡訓練參數,最終構建出一個超分辨性能顯著優于此前圖像複原方法的神經網絡,實現3維度64倍的超分辨率增強。將DSP-Net進一步與先進的三維熒光成像技術結合,我們在三類應用方向做出貢獻:1. 大幅縮短對整體組織/大器官樣本的顯微成像時間。例如以各向同性的單細胞分辨率重建4 × 4 × 2毫米鼠腦組織塊中的大量神經元,圖像采集時間僅不到4分鍾。

圖一 漸進式深度學習超分辨網絡(DSP-Net)結合光片顯微鏡實現高通量鼠腦三維成像

2. 在細胞器的三維成像中以更少的光子消耗和采集時間打破光學衍射極限。例如實現2體積每秒的U2OS細胞微管和內質網的超分辨率成像

圖二 DSP-Net結合光片顯微鏡展示快速、低光毒性的單細胞超分辨成像

3. 以視頻幀率和單細胞分辨率觀測三維生物動態過程。例如以30Hz的視頻速率捕捉芯片中自由運動線蟲的神經鈣信號。

圖三 基于DSP-Net超分辨的自由運動線蟲三維成像和測鈣

簡言之,該研究將發展的新型深度學習網絡與尖端的光片熒光顯微成像技術進行結合,不引入硬件上的改動卻極大地提升了三維成像的時-空性能,以遠超目前最先進光片顯微鏡的光學通量在多類生物樣本的成像中發揮了明顯的作用。通過高通量鼠腦神經元成像、高分辨細胞器超分辨成像和高速運動線蟲鈣成像的演示,該研究被證明在生物醫學研究中具有較好的應用前景。同時,基于通用型計算的圖像複原神經網絡亦適用于增強共聚焦、雙光子、結構光等廣爲使用的商業化顯微鏡,方法具有較高的傳播性和兼容性。

華中科技大學光學與電子信息學院博士研究生張皓 、趙宇軒爲論文共同第一作者,華中科技大學光學與電子信息學院、武漢光電國家研究中心費鵬教授爲論文通訊作者。本研究與武漢光電國家研究中心張玉慧教授課題組、朱丹教授課題組、華中科技大學生命科學與技術學院高尚邦教授課題組合作完成。研究得到科技部重點研發計劃、基金委面上項目、基金委重大儀器研制項目的資助。

論文鏈接:https://doi.org/10.1364/OPTICA.402046 


华中科技大学  光学与电子信息学院  联系电话:027-87558726  邮编:430074 地址:中国?湖北省武汉市珞喻路1037号 华中科技大学东校区新光电信息大楼C6