1、基于计算机视觉的早期乳腺癌放射治疗一体化摆位系统研究蔡新良 1 郑业华 2 龚剑 3 伍 锐 4 朱超华 3*（1.解放军第 422医院，湛江 524005; 2.南方医科大学基础医学院，广州 510515; 3.南方医科大学生物医学工程学院，广州 510515; 4.广州医学院第一附属医院放射治疗中心， 广州 510515）摘要：目的：探讨了一种基于计算机立体视觉的乳腺癌放射治疗摆位验证的方法，以减少在乳腺癌分次放射治疗中，由于多次摆位、体型变化等因素的影响造成肿瘤位置动态位移引起治疗误差。方法：使用由双摄像机组成的计算机视觉系统，准确匹配出多个特征标记物在左右两摄像机采集的图像中的具体坐标
2、，依据双目成像的基本原理计算出各标记物在腹部表面特征点的三维坐标值，构建出乳房及胸部体表的立体特征形状，以此来完成在分次放射治疗前摆位准确性的在线判定。在特征标记物的匹配过程中，使用鲁棒性强的 SIFT（scale invariant feature transform）算法作为标记物图像匹配的方法，并且在算法设计过程中，采用动态选择待匹配图像和局部搜索的策略，目标图像匹配精确。结果：实验表明，在分次放射治疗前的摆位中，系统能够准确显示摆位误差，并且能够做到实时性计算。结论：该方法能够减少乳腺癌放射治疗摆位的误差，稳定性好精度高。关键词：乳腺癌放射治疗 分次放疗 摆位修正 计算机立体视觉 SI
3、FT中图分类号 R814 文献标识码 A 文章编号Study on integrated setup system with computer vision for early breast cancer radiotherapyCAI Xin-Liang1 ZHENG Ye-Hua2 GONG Jian3 WU Rui4 ZHU Chao-Hua3*(1. No.422 Hospical of Chinese Peoples Libepation Army,Zhanjiang,524005,China 2. School of Basic Medical Sciences, Southern
4、 Medical University， Guangzhou 510515, China 3.Institute of Biomedical Engineering， Southern Medical University， Guangzhou 510515, China 4. Radiotherapy Center of The First Affiliated Hospital of Guangzhou Medical University, Guangzhou 510515, China)Abstract: Purpose: Discuss a setup verification me
5、thod based on computer stereo vision for breast cancer radiotherapy in order to reduce the treatment error caused by tumors dynamic displacement due to repeat setup and size change in breast cancer fractional irradiation. Methods and Materials: This change is tracking by computer vision system compo
6、sed by two cameras. First, multiple characteristic markers coordinates get by the two cameras, then the three-dimensional coordinates of the markers are calculated according to the basic principle of binocular calculated, which can construct breast and chest surface stereo features shape, thus the s
7、etup error can judge and correct before radiation therapy. At the tracking process, we use SITF (Scale Invariant Feature Transform) as the registration algorithm, which has strong robustness and accurate matching performance, meanwhile, dynamic choice matching image and local searching strategy are
8、used in the process of calculation and mergence in order to make the target image matching more precisely. Results: Experimental results show that in breast cancer fractional irradiation, the system can accurately display setup error and can achieve real-time calculation. Conclusion: The proposed me
9、thod can reduce setup error in breast cancer fractional irradiation, has good stability and high precision.Keyword: Breast cancer radiotherapy; fractionation radiotherapy; set up fixed; computer stereo vision; SIFT.引言乳腺癌是女性的常见恶性肿瘤，在欧美国家的发病率占女性恶性肿瘤的首位，在我国，乳腺癌发病率也有逐年上升趋势，在部分地区已位于女性恶性肿瘤首位 1。目前在早期乳腺癌的治疗
10、中，保乳手术治疗（Breast-Conserving Therapy，BCT）已被认为是一种安全而有效的治疗方法 2，而术后放疗的实施，可进一步清除肿瘤残余，预防局部复发。保乳手术加术后根治性放疗始于上世纪 50 年代，众多的收稿日期：2011-04-26 ，修回日期：2011-00-00基金项目：国家重点基础研究发展（973）计划（2010CB732500） ；广东省科技计划项目 (2010B031100013)*通讯作者，E-mail:.临床实践研究证明：无论是有无腋窝阳性淋巴结转移，术后加用根治性放疗是必须的。美国乳腺癌外科辅助治疗计划组织的结果也表明术后放疗可以显著降低肿瘤的复发率（由
11、 39%降至 14%）。在过去的 20 年中进行的大量临床试验所取得的数据表明，对于期乳腺癌患者，采用保乳手术加术后放射治疗的方案已经成为标准的治疗方案，其总生存率及无病生存率均与乳腺癌根治术相当。早期乳腺癌的保乳术后放疗采用全乳照射，总处方剂量为 DT50Gy，采用常规分割方法 1.82Gy/次，疗程为 5周，一般采用高能 X 线的两个加楔形滤过板的相对切线野，有淋巴结转移的情况下加锁骨上垂直照射野，根据需要可行第二阶段补加高能电子束照射。但在计划实施时，由于呼吸运动、心跳等的影响，可导致乳腺和胸壁区剂量分布不适形、心脏和肺组织受量高，剂量衔接差等问题，其结果是影响肿瘤的控制率和/或保乳手术
12、后的美容效果。近年来，随着计算机科学技术的发展，放射治疗技术也取得了飞快的发展，三维适形放射治疗已成为放疗的主要手段，放射治疗计划能够准确实施的重要条件之一是肿瘤的精确定位和每分次治疗时的摆位，尤其是三维适形、调强适形等这些精确放疗技术更需要准确地定位与摆位，于是每次治疗病人高精度的摆位就显得至关重要，摆位的准确性可对放疗的精度产生重大影响 3。目前，国内外大多数医院使用体模真空袋、热塑体膜 4以及乳腺定位托架这三种定位装置，固定乳腺癌病人的治疗体位，以确保每分次放疗的治疗中心处于计划设定时的体位。乳腺癌靶区的治疗中心确定方法有两种 5：（1）基于专家经验的方法，在定位的时候根据乳腺靶区的部位
13、及其轮廓通过金属标记点来确定治疗中心的空间位置；（2）通过计划系统根据 DRR 图像分辨率自动生成乳腺靶区的治疗中心。在乳腺癌 CT 模拟定位中，目前我们只能用体模真空袋或热塑体膜（应用较少）固定病人体位，并根据定位激光灯的投影在体膜的左右两侧以及病人的体表（乳房组织附近的区域）这三处位置置放小金粒以确定乳腺靶区放疗中心，同时在病人体表用淡红色画线水（于空气中不容易褪色）描绘治疗中心的标记点。在每分次放疗的过程中，我们就采用目测激光交汇的方法实现乳腺靶区的重复摆位，这种做法精度差，且摆位时间较长，无法满足精确放疗对快速、高精度的摆位要求。当前计算机视觉技术快速发展，图像识别、测量和定位的速度快
14、，精度高，一致性好。由此本文设计通过一种用计算机立体觉技术在放疗模拟定位时记录下肿瘤靶区治疗中心、体表标记物（额外手动添加） 6、定位装置（乳腺托架、体模真空袋、热塑体膜）这三者的相对位置关系，实现在后继的放疗摆位中，即有据可依，并且可以利用视觉测量技术辅助摆位，为放疗医生提供具体的数据指导，以确保乳腺靶区中心坐标位置的不变性。1 方法计算机立体视觉摆位验证的基本原理是通过已经标定好的两个高清摄像机构成立体视觉系统，以不同角度同时拍摄到的两幅平面图像，选用 SIFT 算法匹配出两副图像中多个同一标记物，立体视觉系统依据所测得的标记物在两副图像中的二维坐标，精确构建出乳房及胸腹部表面的三维立体模
15、型，为放疗摆位提供具体的数据指导。1.1 系统组成与结构本系统为一套可靠的乳腺癌放疗定位、摆位系统，特别是为保乳放疗提供可靠的摆位信息，并且为是否需要再次做放疗计划提供参考。系统的研发包括软件与硬件两大模块。其结构框图如图 1 所示，主要功能模块有：（1）乳腺CT与MR图像配准融合：精确定位治疗靶区，作为靶区勾画做基础；（2）乳房表面标记物和肿瘤靶区关系的建模：建立靶区和标记物的关系模型；（3）双目视觉三维成像：采用双摄像机和电脑建立立体视觉系统，完成物体表面三维成像；（4）基于图像SIFT特征的精确测量和定位:利用对尺度、旋转、视角等变化的良好鲁棒性的 SIFT算法，作为图像配准方法，准确测
16、量出标记物在三维空间中的坐标。这是系统准确性和可靠性的关键所在。（5）新型乳腺托架的研究与设计：设计一套定位摆位一体化乳腺托架，用于患者治疗时的摆位。该托架应该易于组装，并且适合记录和重复特征个体的摆位数据。（6）摆位误差（x,y ,z）的测量和修正提示：依据设计的测量方法，将摆位时实时测得的位置与定位时所测量的数据做比较，计算出x,y,z三个方向以及角度的变化误差，提示医生作出摆位修正。（7）软件系统的开发（病人图像档案、数据计算、摆位坐标定位自动计算与提示、射野最佳照射角度设计等）。图 1 系统结构框架图Fig 1 Frame-chart system structure1.2 双摄像机测
17、量原理依据小孔成像的基本原理，我们对两个平行放置的摄像头建立如图 2 所示坐标系。 和 分别为lOr两个摄像头的光心，f 为摄像头的焦距， T 为两摄像头之间的距离， 和 分别为物体 P 在两个像平面lPr上的所成的像点，Z 为物体到两摄像头平面的距离。依据相似三角形的相似关系， 与 相似lrxlr可得： 。由于 T 和 f 分别为固定参数，再分别测得 和 即可得到距离 Z。lrfx lxr图 2 平行双目视觉原理 图 3 立体坐标示意图Fig 2 Parallel binocular stereo vision schematic diagram Fig 3 Stereo coordinat
18、e system物体 P 在双摄像头像平面空间中的成像关系如图 3 所示。依据上述分析，可以得到物体 P 在左像平面上的坐标（ ）可以写为,plplxyz（1）/()pllllpllrxzfyTf同理物体 P 在右像平面上的坐标（ ）可以写为,rrxz（2）/()plrrlplrfyzTfx其中（ ）和（ ）分别为物体在两个像平面上的坐标，可以分别由在两副图像中的像素坐,lxy,r标，通过已知的摄像机内部参数计算得到（内部参数，通过双摄像头标定得到） 。依据公式（1） （2） ，可以通过获取目标点在 2 幅图像中的位置，在摄像机坐标系中标定目标点的三维坐标 7。1.3 双摄像机立体标定摄像机标
19、定是通过所摄取的图像求解摄像机的内外参数。摄像机的外部参数表示摄像机的位置和方位相对于一个实际坐标系的坐标变换,内部参数表示摄像机的光学本质特性。在本系统中对摄像机的标定方案是先分别对两个摄像机进行单个标定，再进行立体标定。单个摄像机的标定是分别求出它们的内参数矩阵、畸变系数、旋转矩阵 R 和平移向量 T，前两者构成了摄像机的内参数，R 和 T 构成了物体位置和方向的摄像机外参数。在立体标定中，利用旋转矩阵 R 和平移向量 T 来联系左右摄像机。对于给定物体坐标系中的任意 3D 点 P，分别代入到左右摄像机的坐标系中：（3）rlllr相应地，P 点在两台摄像机的关联关系为：（4）r()lTR其
20、中，R 和 T 分别为两个摄像机之间的旋转矩阵和平移向量。联立等式（3）和（4）可以得到（5）rl即得到了两台摄像机之间的内参数，可以用来帮助计算物体在空间中的位置。2 实验设计和结果2.1 系统工作流程设计与实现2.1.1 系统工作流程作者基于 C+平台，开发了一套软件实验软件系统，实现了该方法。系统在每次进行摆位验证前，须首先通过对比连续三帧图像的中的特征点坐标是否稳定，如果稳定，则判定当前状况确定，则开始匹配出两图像中相同标记物的中心坐标，并利用该坐标计算出系列标记物的当前三维坐标，否则提示摆位状况不稳定。系统的具体工作流程如图 4 所示。第一步获取初次治疗（模拟定位）的稳定标记物的三维
21、坐标，作为原始标准参考，在随后分次治疗的每次摆位时，将采集的相对应的标记物的三维坐标和第一获取的坐标作对比，如果三维坐标不一致，系统则给出（x,y,z）方向的差异数值，提示医护人员对病人位置进行修正，直至系统测得此次摆位数据和原数据的差值在系统的容忍范围内（默认误差为2 mm，此值可以设定） ，则完成摆位。图 4 系统工作流程图Fig 4 System work flowchart2.1.2 具体实现，分为如下几个步骤：一、双摄像机系统的设计和三维图像重建：（1）系统构架：两台高分辨率工业摄像机器平行固定于治疗床上的天花板上，个人电脑电脑。 （2）系统设计：两摄像机系统的立体标定、摄像机图像校
22、准、视频图像的立体匹配、三维图像重建、纹理信息映射。二、针对于多标记点的图像测量和定位：（1）设定多个标记点，标记点应该具有典型性和代表性的空间位置，如图 5 中围绕乳房所贴的序列金标所示；（2）标记点图像 SIFT 特征的选取；（3）各标记点三维空间位置的确定；（4）个人体征的创建，结合系列标记点的特征和第三步的图像融合信息。三、摆位建议与提示：（1）利用系统提示的具体位置进行人工预摆位；（2）对应各标记物所在的特征位置进行摆位验证；（3）摆位误差计算，系统将提取摆位时的特征点的图像特征和第四步建立的个人特征信息进行比较，计算出三维（x,y,z)轴和旋转角度误差；（ 4）提示医生做具体方位的
23、摆位修正。四、数据库系统：建立病人摆位数据库，为多次放疗摆位做参考。2.2 实验与结果依据第 2.1 节所述的工作流程，软件系统先采集标定棋盘图片，完成立体标定。如图 5 显示窗口所示，选定一系列金标作为标记物，将其固定于病人的乳房周围的特征位置上。图 5 标记乳房形状的序列金标图Fig 5 Sequence of gold mark for the breast shape本系统立体摄像机的采样频率为 10 Hz。根据实验记录，选取了一组稳定的摆位数据如下表 1 所示，表中记录了在摆位状况稳定下，三个标记物（金标）在各幅左右摄像机图像中的二维坐标（x,y） ，三维坐标（x,y,z）为系统实时
24、计算出的标记物在三维空间中的具体坐标。其中左右图像中的坐标的单位为标记物在图像中的像素点位置。实际深度距离是各个标记物到摄像机的光心所在的水平面的竖直距离，由实际测量得到，用于和系统的计算值进行对比验证。其中，标记物 1 的三维坐标 x,y 坐标为负，表示该标记物在摄像机光心的水平面上投影，在以左摄像机光心为坐标原点的坐标系的第三象限中，同理，标记物 3 的投影位于第四象限。表 1.标记物坐标(Table 1 Markers coordinates ) 单位：mm标记物 左摄像机图像坐标(x,y)右摄像机图像坐标(x,y）三维坐标（x,y,z ）实际深度距离(z) z 偏差1 (157,290
25、) (221,302) (-186.35,-236.61,1033.57) 1060 -26.43 -2.49%2 (405,151) (382,173) (35.24,16.83,1028.83) 1051 -22.17 -2.11%3 (548,298) (496,317) (-226.32,201.81,1077.31) 1065 12.31 1.16%3 讨论3.1 测量精度与稳定性本系统采用精确定位多个特征点的方法，来判定摆位是否正确，其目的在于以下两个方面：（1）提高测量精度；（2）避免数据冗沉，提高系统的稳定性。3.1.1 测量精度从表 1 中，我们可以发现该系统能够准确判定出各
26、个标记物在体表的具体位置，各标记物在两个摄像机系统中的坐标符合该双目视觉系统左右摄像机的相互位置关系。在实际的深度信息测量过程中，存在一定的误差（如标记物 1，实测深度为 1062 mm，视觉系统测得的距离为 1033.57 mm。 ）,但在实际应用过程中，所参考的标准为立体视觉系统首次测得的距离参数，只要该系统各部分的性能参数不变，它就能提供准确的摆位信息。Alper Yilmaz 指出，基于图像的目标定位存在的一些复杂因素主要在于以下几个方面 8：由 2D 图像投射到 3D 图像过程中信息丢失，图像噪声，目标的复杂运动，目标的部分遮挡，复杂的目标形状，光照变化和实时性的要求。本实验中采用先
27、分别匹配出 2D 图像中目标的坐标位置，避免了图像直接投射到 3D 场景中再计算三维坐标而导致的信息丢失。由于采用 SIFT 算法作为配准的方法，能很好地解决图像的光照和仿射变换等问题 9。实验结果表明，系统能够解决目标发生部分遮挡、旋转和角度变换的情况。计算中误差主要来源于以下方面：摄像机的内部参数和实际的误差，摄像机系统虽然经过立体标定，但是标定板尺寸和两摄像间的固定距离，存在一定的误差；摄像机自身的像素限制。3.1.2 系统工作的稳定性系统中采用对选定的多个特征标记物进行定位的方法，既保证了一定程度的测量精度，又避免了采用全部体表三维图像是否一致作为判定准则所带来的数据冗沉所导致的系统无
28、法工作的情况。3.2 肿瘤靶区与体表标记物的关联模型前面所讨论的是基于体表标记物的定位提示，能够减少分次放射治疗过程中的摆位误差，但在实际放疗过程中，患者的体型和肿瘤大小会发生改变。因此，在下一步的工作中，我们对基于体表标记的定位系统进行改进，拟结合 CT图像为个体构建体表标记物-肿瘤相关性模型，进一步确定肿瘤靶区的实际位置，并确定在何处放置标记物和放置多少个标记物最为合理。4 讨论本文介绍了一种利用计算机立体视觉辅助的乳腺癌放射治疗的摆位系统，它通过计算机立体视觉技术，能够为乳腺癌放疗前的摆位提供实时的摆位提示。试验结果表明，该系统工作稳定，精确度高，能够降低摆位误差，提高放射治疗效果。该方
29、法主要是基于体表特征，对于如何选取标记放置的最佳位置和标记物的个数，将做进一步的研究。参考文献1. 包迎红，潘峰，周成槎.温州市鹿城区 20032005 年新发肿瘤发病分析J.中华肿瘤防治杂志, 2006, 13: 1449 - 1451.2. Fisher B, Jeong JH, Anderson S, et al. Twenty-five-year follow-up of a randomized trial comparing radical mastectomy, total mastectal mastectomy followed by irradiationJ. NEngl
30、J Med 2002, 347(8): 567-575.3. 陶声祥,吴宜灿. 基于视频的精确放疗摆位系统研究J. 原子核物理评论, 2006, (02):250-253.4. Strydhorst JH, Caudrelier JM, Clark BG,etal. Evaluation of a thermoplastic immobilization system for breast and chest wall radiation therapyJ. Med Dosim.2011,36(1):81-84.5. Veldeman L, Speleers B, Bakker M, Jaco
31、bs F, Coghe M, De Gersem W, et al. Preliminary Results on Setup Precision of Prone-Lateral Patient Positioning for Whole Breast IrradiationJ. International Journal of Radiation Oncology Biology Physics. 2010; 78(1): 111-118.6. Philipp JSchoffel ,Wolfgang Harms , Gabriele Sroka-Perez, etal ,Accuracy
32、of a commercial optical 3D surface imaging system for realignment of patients for radiotherapy of the thoraxJ. Phys. Med. Biol.52(2007):39493963.7. 吴福朝. 计算机视觉中的数学方法M.北京：科学出版社 ,2008:94-98.8. Yilmaz A, Javed O, Shah M. Object tracking: A surveyJ. Acm Computing Surveys. 2006; 38(4):31-35.Peng K, Chen X, Zhou D, Liu Y. 3D reconstruction based on SIFT and Harris feature pointsJ. 2010. IEEE; :960-964. 9.
