欢迎访问我的CSDN深度学习与光场重建专栏
摘要
光场显微镜已成为快速生物过程高速体积成像的一种选择技术。然而，伪影、不均匀分辨率和缓慢的重建速度限制了其全面提取样本动态时空格局的能力。在这里，我们将视图-通道-深度(VCD)神经网络与光场显微镜相结合，以减轻这些限制，产生具有均匀空间分辨率和高视频速率重建吞吐量的无伪三维图像序列。我们在单细胞分辨率下对移动的秀丽隐杆线虫的神经元活动和跳动的斑马鱼心脏的血液流动进行了成像，体积成像率高达200hz。
方法
本文VCD-LFM的原理和性能。我们的VCD-LFM涉及到一个VCD卷积神经网络的训练及其基于LFM获得的图像的推理。
a，用共聚焦显微镜对静止样品进行HR 3D成像(上一行)，用光场显微镜瞬间记录动态样品(下一行)。
b, VCD-Net重建管道，包含:(1)HR图像栈的前向光场投影(LFP);(2)将合成光场输入VCD转换为中间三维图像栈;(3)通过迭代最小化VCD推断和共焦gt之间的差异进行网络训练;(4)通过训练有素的VCD- net从记录的光场图像中推断3D图像。
c -f，同一荧光珠的最大强度投影(MIPs)和通过广角显微镜(c)、LFDM (d)和VCD-LFM分别用各向异性(e)和各向同性(f) HR数据训练获得的分辨率(FWHM)。白线，所有在MIPs中分辨出的珠子的强度分布。蓝色线条，在距焦平面20µm处选定的珠子(由垂直线表示)上的强度轮廓。比例尺:10µ米。
g，通过LFDM (n= 2039个珠子)、各向异性(n= 2527个珠子)和各向同性VCD-LFM (n= 2731个珠子)重建的体积上珠子的平均轴向(虚线)和横向(实线)FWHM。x、y、z的均匀分辨率分别为1.1±0.08(均值±标准差)µm和3.0±0.1µm，各向同性分辨率为1.0±0.15µm。中心线表示平均值，误差条表示标准差。
h，光场视频的一帧，记录两个相邻的合成放电神经元的活动(用蓝色和红色表示)。
i,j，利用VCD-Net (i)和LFD (j)对光场视频进行重构，在指定的ROI(虚线圈)中提取信号迹，并与ground truth进行比较。圆圈表示由于模糊，相邻神经元之间的信号交叉。比例尺:5µm。
结果
利用VCD-LFM对斑马鱼心脏跳动的各种心脏动力学成像。
a、基于选择性体积光照的斑马鱼实验光场成像原理图。在杆状光束照明设置下，在感兴趣的范围内选择性地激发荧光信号，记录跳动心脏内红细胞的高对比度光场序列。
b、c、VCD-LFM (b)和LFDM ©分别在一个红细胞瞬时体积的xy(左)和yz(右)平面上的MIPs。虚线表示心脏。
d，整个心动周期19个单个红细胞的轨迹。一颗静止的心被勾勒出来供参考。
e，从收缩期两个连续的红细胞体积计算出的速度图。通过VCD-LFM (f)和LFDM (g)分别测定搏动心肌细胞单个瞬时体积核的xy(上)和xz(下)平面上的f、g、MIPs。
h,i，分别用VCD-LFM (h)和LFDM (i)显示单个时间点的心跳心肌三维图像。用GFP标记心肌。箭头表示心脏跳动的入口和出口。一个心房;V,心室。
j，一个心动周期中舒张期和收缩期心肌的体积。
k:心室在一个心动周期内舒张期和收缩期的容积变化率。心率由(Vtime−ESV)/EDV计算，其中Vtime为心跳时心室体积的时变，ESV和EDV分别为收缩期和舒张期末心室体积。由(EDV−ESV)/EDV给出的心跳射血分数(EF)，也显示为曲线中的峰值，计算出约为71%。在大约400毫秒的心动周期中，总共120个时间点(每6个时间点之一)中有20个被选中进行分析。比例尺为50 μm。所示数据分别代表了血液细胞、心肌细胞核和心肌显像的n= 8、4、3条独立鱼。