1、V3d使实时3d 显示和定量分析大规模的生物图像数据集成为可能Hanchuan Peng, Zongcai Ruan, Fuhui Long, Julie H Simpson & Eugene W Myers综述：V3d系统提供了在现代计算机上实时显示 g级别的显微图像栈3D 的功能。V3D通过结合人体工学功能直接定位3d空间图像和生物测量显示的方法来简化在线分析，测量和处理复杂的图像校对，比如使用覆盖面对象利用荧光探针。V3D运行在所有主要计算机平台上而且软件可通过插件增强，以解决具体的生物学问题。为了说明这个可扩展性，我们建立了一个V3D为基础的应用，V3D-Neuron，来从高清晰度图像
2、的神经元结构的大脑进行复杂的神经元结构三维重建。V3D-Neuron可以在几分钟内精确数字化单个果蝇神经元的形态，拥有十七倍的可靠性增强和相对其他神经元重建工具来说十倍的时间节省。使用V3D-Neuron，我们证明了构建果蝇大脑的神经纤维束三维数字地图册的可行性。图像定量分析正迅速成为高通量实验的瓶颈，这些实验寻求增加从不同颜色和一系列时间点的多荧光探针收集而来的新的先进三维显微数字图像的新视角。由于多维图像对象在形状和质地上的复杂性，图像数据的大规模性（现在每个图像栈一般在几百兆到几g之间），低或者有限信号的信噪比的图像数据和很多二维图像可视化和分析工具在更高的维数情况下并不适用等原因，这个
3、任务经常很具有挑战性。实时3d显示辅助分析可以很好的帮助一个调查员生产和校正在这些复杂的情况下的生物性的有意义的结果。很明显，可以同时显示大的多维图像数据集的高表现的软件工具允许用户将它们在计算机辅助行为下联系起来并做注解，然后解压缩数量分析结果。很多现存的软件包，像Amira（Visage Imaging），ImageJ ，Chimera，Neurolucida（MBF Bioscience）和Image Pro（MediaCybernetics)，可以被分类为这个显示辅助分析的类别当一个图像被认为有一个相对较小的容量或运行为2d表现时。这个可视工具包，是跟内部分割和注册工具包联合在一起的，
4、并且对3d图像的显示辅助分析也有帮助。然而，这些工具的表现对多维图像或g级图像的数据集并不能很好衡量。这里我们展示一个显示辅助分析系统叫做v3d，它是为了弥补这个缺憾而设计的。v3d有两个有特色的特性。首先，它包括一个足够快的可视化引擎在基本的电脑上来实时读取g级，3d容量的数据，可以衡量很大的数据。第二个，我们找到了在观看3d图像时用一或两下鼠标的点击直接定位xyz坐标的方法。而以前的工具则只能在2d图像中这么做或者在一个昂贵的立体观察系统中用一个虚拟鼠标来实现。这两个特点合起来使v3d适合表现复杂的多维图像模型分析，在一个用户效能的方式下。我们通过做出针对神经科学的一套工具V3D-Neur
5、on来证明 v3d的强大功能。我们应用 v3d-neuron来重建一个3d神经结构和制造一个果蝇大脑中轴突束的 3d数据图谱。结果：实时3d显示大规模多相数据跨平台的v3d可视化引擎反映多相数据，包括3d，4d，5d容量的图像数据和各种3d表面的物质。这些能力的证明在数据1a（还有补充的视频1）中，这个数据是在一个单独的3d视图里表现果蝇的一个多信道的图像栈，一系列的表面物质相当的大脑各部分和一些独立的重建的神经元。v3d可以通过几种不同的方法反映图像的强度和颜色。对那些图像栈的多维强度数据，v3d可以反映一个最大强度的投影，一个alpha混合投影和一个多部分的视角，还有允许的反复的穿过图像栈
6、的切位面。对颜色信道来说，经常和不同的荧光分子联系在一起，v3d对改进的视觉化提供颜色定位功能。v3d支持4种不同的“模型”物体：（1）不规则的网状表面（就像一个大脑各部分或一个原子包装的模型物体），（2）球体（就像一个简单的像细胞和原子的球状物的代理），（3）纤维性的，管状的或者有复杂分支和连结结构的网状结构（用来描述树状神经元或者其他相关的数据或表面物体的图像），和（4）标记（用来代表各种xyz坐标和经常被用作引导图像分割，追踪，记录和注解）。在一个基于强度的多维图像上，任何这些物体的收集的集合能够被映射成不同的颜色，样式和不同的分组。我们已经利用这些特性来描述一系列的显微图像的数字模型，
7、像一个Caenorhabditis elegans 的3d数字原子图谱模型和数据1a描述的果蝇大脑的脑图。v3d允许交互的旋转，放大缩小，和移动只要通过电脑的鼠标。v3d可视化引擎的速度是它具有很高可用性的关键因素之一。众所周知，3d容量分析图像可视化是可计算的昂贵。为了使g级容量分析图像数据的实时3d反映成为可能，我们首先优化4d红绿蓝图像的同步映射，通过opengl 2d或3d在最高分辨率下的结构定位。这导致在一个最大的强度的投影映射在每秒15和8帧的速度上，我们通过在一台有1gb显卡容量的64位linux系统的机子上对 2.25到3gb红绿蓝比色的图像的测试（数据1b）。很多研究表明，5
8、帧每秒给出了一个令人满意的交互体验。说明v3d同步映射对多g级图像来说已经相当的快。我们更设计了一个同步映射方法在接近80帧每秒的速度下对一个3g大小的图像执行，一个在速度上十倍的改进相对于同步映射（数据1b）。为了这么做，我们利用人眼对移动物体的细节的不敏感性而且只有在静止的时候才会察觉。因此，在同步模式下，当一个用户在旋转或者使用其他方法与一个大图像在交互时，v3d映射图像为一个中等分辨率的代表。一旦这样一个交互结束，v3d又回复原始分辨率。这个同步方法同时解决了高速度与高分辨率的问题。这大大减小了对图形卡的依赖度，被周边组成部分的快速连接的优先电脑的带宽所限制。我们在不同的测试机上达到了
9、一个相似的速度的改进，比如拥有512m容量显卡的mac pro（补充数据1）。对v3d支持的图像大小的唯一限制是底层硬件的充足的存储量。对很大的图像来说，比如说8-16g大小的图像，或者在一个很旧的机器上，这样互动的速度就会成为一个问题。v3d可通过对一个图像栈显示两个3d视角（一个全局视角和另外一个由用户在兴趣方面动态分配的视角）来解决这些问题（数据1c和补充视频2a-c）。这两个视角的整合允许任何一个详细的大图像栈的可视化反应。可视化辅助分析可以运行在全局和本地视角两个方面。3d图像内容的直接三位精确定义和大容量图像的直接用户互动需要一个用户在3d空间去选择一个或多个点，以用来作为在随后分
10、析中的记号。为了补充我们的快速3d视角，我们想出了两个基于软件的方法来完成在一个大容量图像中的直接三位定位，这个任务本来只有在立体视图的硬件或者虚拟现实的装备中才有可能。第一个方法是当用户在验收一个三维图像时，提示一个用户双击一个有兴趣的点，每个都从一个不同的视角（数据2a和补充视频3a）。每个点击定义了垂直与屏幕的一个射线穿过现在鼠标的位置。v3d在空间上到各个射线的欧几里德距离之和最小的点（这是在用户2d点击的时候允许一些轻置和不准确）创造一个标记。这个方法在图像的颜色信道上是独立的。第二个方法用一个鼠标点击精确的找出一个3d标记（数据2b和补充视频3b）。因为在这个情况下只有一个射线是被
11、点击定义的，我们估计在射线上最有可能的位置通过用户看给出图像的颜色信道的强度信息的意愿。我们用意义转变算法一开始用来发现投影射线的com，然后在进行中的com用前进的更小的时间间隔重复再次评估一个com直到收敛。这个启发式在真实的数据集中所想要的三位地址估计非常健壮。当有多颜色信道，用户在点击鼠标的时候通过按一个数字键指定一个信道（比如说1，2）。三维精确定位对在一个多维图像中测量和注释任何空间位置非常有用（补充数据2），同时提供手动选择用于更加复杂的可视化辅助分析的种子和人工改正这种分析的输出。例如，一个人可以定量的描绘声音的程度，沿着直线片段连接着一对标记。这样一个人可以快速的测量这个荧光
12、标记基因表达的倾斜度沿着一个c.elegans的图像的两个方向（数据3）。我们也使用三维精确定位来快速的计算在老鼠大脑内弓形原子核中的神经元的数量（补充视频4），和来检验在一个移动的c.elegans的5d图像系列（由选择飞机照明显微镜观察而来）中的神经元的相关放置（补充数据3a-c和补充视频5）。v3d-neuron：轴突的三维重建v3d为了建立专门的程序来定位特定的生物问题提供了建立基本的软件功能。为了证明这个，我们认为数字重建或者追踪3d轴突结构，这是理解大脑电路结构和功能的最基本的瓶颈步骤之一。我们找到了v3d-neuron 跟踪神经元或者一个从图像中的轴突3d结构道路。v3d-neu
13、ron也是直接展示追踪结构叠加在原图像数据，让一个人来互动的校对和改正追踪结果。我们呢重建了一个神经元（数据4和补充视频6）在连接到一系列标记的最佳路径的自动搜索，这是由一个用户精确位置定位的用来预测哪一个追踪需要开始和结束（数据4a）。我们的算法在图像体素找到一个顺滑的树状结构在最小消耗下对所有剩下的标记控制连接一个记号（根），就像在下面所定义的一样。我们对待单独的图像体素跟图像顶点一样，定义图像的边为在空间相邻体素之间。边的重量被定义为两个相邻体素和它们的欧几里德距离的平均密度的逆的产物。最小消耗路径处于一堆标记之间，将会是一个用最少的整体长度穿过最高密度体素。我们用Dijkstra的算法
14、来找到这些最短路径（父节点表）从每个不是根的标记到根标记。我们在这些列表中检测顶点的两个或多个路径合并。这些顶点是按照重建神经元树分支顶点来对待的。随后，我们用连接标记和分支点的个体的段代表这个追踪的神经元（数据4b），这样无论在什么时候都可以轻易的在三维图像中编辑。对每个段来说，v3d-neuron让一个研究者有选择的提炼它的骨架用一个变形的曲线算法可以尽可能近的接近这个段的图像领域的中线来适应这个路径。在大多数情况下，这不仅仅可以有一个更加顺滑的更好接近神经元骨架的路径(数据4c），而且更准确的估计追踪沿着这个骨架的神经元的半径。我们用十个单独的成年果蝇中神经元（用双胞点MARCM技术染色
15、过的）来估量v3d-neuron。这些数据由于轴突的荧光的信号和尖锐的转角的不平衡性，都是很有挑战性的。每个神经元被独立的追踪两次。v3d-neuron允许我们重建每个神经元和修正潜在的错误，一般来说在3-5分钟之内。对比国家最先进的二维人工重建工具neuronlucida（也是每个神经元有两个独立的追踪），v3d-neuron避免了在人工追踪过程中的不一致现象（数据5a，e1-e4），这个是根据人类在辨别尝试过程中的追踪差异导致的。v3d-neuron重建过程中的不同点通常出现在神经元的提示中（数据5a ，e5），因为人类在定位终端标记时候的个体差异。定量来说，v3d-neuron重建技术有
16、亚像素精度，而人工重建技术在整个结构上都有显著的差异（数据5b）。更加近距离的看两者神经元骨架可见偏差度，我们可以发现当用v3d-neuron时平均只有1.26%的总路线长度从它的对方的重建是大于2个体素的，而同样的情况下Neuronlucida 却有21.8%（数据5c）。不仅如此，在v3d-neuron产生重建数据接受订单的大小和更少的时间，当我们花费更多的两个星期时间获得Neurolucida所获得的结果。v3d-neuron和其他许多工具的一个比较（比如Image Pro，看补充说明）也显示了v3d-neuron 更加的强大。一个综合的在大脑中的轴突道的三维图集对理解解剖学和大脑功能来
17、说都是透明的。为了证明用v3d-neuron来建造这样一个图集的可行性，我们用成年果蝇大脑中超过3000聚焦图像栈，来自500果蝇增强子陷阱GAL4的线上（没有公布的数据）。首先，这些图像变形的对齐一个典型的大脑（数据6a）用一个NC82强度的样式在一个分开的信道上（未公布数据），这个作为完成一个自动对齐的参考。然后，我们用v3d-neuron来追踪 111个构筑在大脑中的代表性的轴突道（数据 6a和补充视频7）。我们重建了两到六个从相同的GAL4线上复制的图像的每个道的实例。我们对每个重建实例产生了一个方法的道模型并在这个方法中的组员的平均偏差。这些道的整体形状和相关的位置在偏差范围在0.5到4.5um之间是可重现的（数据 6b）。这个方差在生物变异上接近上限，由于一些部分取决于对齐优化的差异。相对与典型的成年果蝇大脑的尺寸（590um*340um*120um），这些偏差很小，说明这些神经道的布局在果蝇脑中是高度定型的。
