1、天宫二号伴星可见光相机成像仿真方法 韩意 陈明 孙华燕 张宇 孔静 北京航天飞行控制中心 航天工程大学 摘 要： 以天宫二号伴星对组合体的观测任务为需求, 采用了一种基于 Open GL 的伴星可见光相机成像仿真方法, 根据组合体、伴星的星历和姿态数据以及组合体 3 ds 格式三维模型, 设置了 Open GL 透视投影成像模型参数, 结合组合体表面材质特性和可见光相机成像性能模型进行了处理和计算, 生成了组合体可见光仿真图像。通过与伴星实际拍摄的图像比较, 验证了文中方法的有效性和可信性。可为天基光学成像载荷设计与系统仿真、飞控任务安排等提供参考和依据。关键词： 成像仿真; 可见光相机; O
2、pen GL; 伴星; 组合体; 作者简介：韩意 (1986-) , 男, 工程师, 博士, 主要从事轨道计算、空间光电信息处理方面的研究。Email:收稿日期：2017-04-07基金：国家自然科学基金 (11373013) Imaging simulation method of TG-02 accompanying satellites visible cameraHan Yi Chen Ming Sun Huayan Zhang Yu Kong Jing Beijing Aerospace Control Center; Space Engineering University; Ab
3、stract： Aiming at the TG-02 accompanying satellite s observation mission, the imaging simulation method of visible camera based on Open GL was introduced. Based on the ephemeris and attitude data of the complex and the accompanying satellite, and 3 ds format of the complex 3 D model, the parameters
4、of Open GL perspective projection model were set properly. Combined with the complex surface material properties and the visible camera imaging performance model, the complex s visible image sequences were simulated. By being compared with actual observation images, the simulation method was proved
5、to be effective and credible. This research can provide references for design and system simulation of space-based optical imaging payload, as well as the flight control task arrangement.Keyword： imaging simulation; visible camera; Open GL; accompanying satellite; complex; Received： 2017-04-070 引言以图
6、像为主要研究对象的天基光学成像探测技术, 是获得重点合作与非合作空间目标特征信息的重要技术途径之一。天基光学成像系统与地基光学成像系统相比可以获得更近的观测距离, 能够在合适条件下对目标近距离成像, 获取目标几何形态特征、提供目标认知依据。但由于现实条件制约, 无法在太空中进行大量试验, 难以获得充足的真实目标图像源, 因此成像系统建模仿真是完成载荷和平台测试及验证工作的重要方式, 成为当前热点研究内容之一1。在提高目标图像质量、分析各个环节对图像获取的影响等方面, 成像仿真技术起着重要的技术支撑。根据真实目标光学图像进行对比分析, 是验证仿真方法和结果的有效途径2。美国在天基光学成像仿真领域
7、开展研究较早, 已经取得了显著成果, 形成了系统化和商业化的仿真软件, 如 TASAT、SVST 和 STK EOIR 模块等, 这些研究在空间目标跟踪、监视与识别工作当中, 发挥了重要的指导、预测和评估作用。国内也积极开展相关研究工作, 有关单位设计和实现了光学成像仿真软件系统, 具备场景可视化、成像仿真和数据分析处理等功能, 仿真模型比较齐全, 功能也比较完善, 研究成果已经应用到了空间光学相机的设计与性能测试当中, 但成像仿真方法与结果还缺少基于真实天基实测图像的比对和验证3-6。2016 年 9 月 15 日, 伴随小卫星随天宫二号空间实验室发射入轨, 10 月 23 日 7点 31
8、分从天宫二号上成功释放, 24 日将首次拍摄的天宫二号与神舟十一号组合体红外影像回传地面, 25 日将首批组合体全貌高质量可见光图像回传地面, 圆满完成首次拍照任务, 这也是我国载人航天工程中获得的第一批组合体全貌的高清照片。伴星搭载的可见光相机为 2 500 万像素, 近距离观测分辨率达厘米级, 所拍照片能够清楚展示组合体舱外仪器和设备。伴星的释放、控制和拍摄技术得到了验证, 未来可为航天器在轨服务提供支持3。文中以天宫二号伴星对组合体的观测任务为需求, 采用了一种基于 Open GL 和组合体 3 ds 模型的可见光相机成像仿真方法, 根据两目标星历数据、姿态数据, 仿真生成组合体在轨飞行
9、图像序列。10 月 23 日, 在伴星释放之前, 使用预报的两目标星历和姿态数据, 预先仿真演示了释放之后可见光相机对组合体拍照的效果;当伴星进入地面测站跟踪弧段后, 使用其下传的实测星历数据仿真生成组合体图像。10 月 25 日伴星下传组合体可见光图像后, 对比了仿真图像与实拍图像, 二者比较一致, 验证了文中方法的有效性和正确性。使用文中的仿真方法能够开展动态成像仿真试验, 模拟航天器在相对运动过程中距离、方位、姿态运动以及不同光照条件对相机成像效果的影响, 可为成像载荷设计和飞行任务安排、释放窗口设计和轨道控制策略等起到辅助和参考作用。1 成像仿真原理可见光相机实际拍摄的组合体图像的关键
10、特征包括:图像大小、分辨率、组合体在图像上所占像素、组合体姿态、可见部位及像素灰度等。文中的目的就是根据相机成像性能模型, 利用计算机仿真技术模拟出这些特征, 生成逼真的目标图像。可见光相机通过光学透镜组将三维场景投影到像探测器 CCD 的二维平面上, 此过程可用相机成像模型来描述。设空间某一点 P 在世界坐标系下的坐标为 (X S, YS, ZS, 1) , 在相机成像平面上相对应像点的图像像素坐标为 (u, v) , 则有:式中:矩阵 M1只与相机内部参数有关;M 2为外部参数矩阵, 由相机相对于世界坐标系的方位决定。Open GL 是开发二维、三维图形应用程序的最佳环境和工具之一, 主要
11、通过模型变换、透视变换和仿射变换等过程将三维物体显示为计算机屏幕上的二维图像。其透视投影成像过程为:将三维模型上的某一点X SYSZSWS经过模型矩阵 M的旋转、平移等变换, 再经过投影矩阵 P 的透视投影变换, 最后经过归一化除法和矩阵 F 的视口变换, 得到该点在屏幕上的对应像素坐标 (x w, yw, 1) , 该过程可用公式表达为4:由公式 (1) 、 (2) 可以看出, 二者都可以用矩阵表示变换过程, 因此完全可以根据目标、相机的相对几何关系和相机有关参数, 合理设置 Open GL 透视投影成像模型中的参数, 实现相机成像模拟, 也即几何成像仿真5。这时生成的图像中目标大小、姿态准
12、确, 能够体现不同相机参数、目标姿态和距离等因素对成像的影响, 但目标所占像素的灰度值还需要进一步处理, 才能生成高可信度的仿真图像。文中使用 Visual C+和 Open GL 开发了仿真工具软件, 根据轨道确定结果获得指定时刻的组合体、伴星的位置、速度等参数, 据此设置 Open GL 透视投影成像模型参数, 读取和处理含有材质信息的组合体 3ds 格式三维模型, 再结合目标材质特性和可见光相机成像性能模型进行处理, 生成最终的仿真图像。通过切换不同时刻伴星与组合体的相对位置关系, 能够进行动态成像仿真, 生成运动图像序列, 模拟出组合体成像的大小、形状和姿态随两目标相对运动不断变换的过
13、程。成像仿真的内容包括: (1) 目标精密轨道确定, 计算地球、太阳、组合体和伴星之间的相对位置关系, 输出指定时刻组合体和伴星的精确位置、速度和姿态参数; (2) 组合体建模, 建立组合体三维几何模型和材质表面散射特性模型; (3) 可见光相机成像性能建模, 综合分析各有关因素对图像大小、分辨率及目标成像灰度的影响。仿真的主要依据有: (1) 组合体尺寸和几何结构、伴星和组合体相对几何关系、可见光相机几何成像模型等因素, 决定了图像大小、目标姿态及所占像素数目; (2) 太阳光照情况、组合体表面材料的光学散射特性和相机成像性能等因素, 决定了图像中组合体各部位像素的灰度值、噪声大小等。2 成
14、像仿真方法2.1 目标轨道确定在实际任务中, 利用组合体和伴星的地基、天基测量数据并考虑轨控影响进行精密轨道确定, 计算和预报两目标在过去、当前和未来一段时间内任意时刻的运动状态 (包括星历和姿态参数) 。定轨过程中考虑的摄动力影响主要包括地球质点摄动、非球形引力摄动、大气阻力摄动、日月引力摄动、太阳光压摄动等。伴星释放时, 组合体轨道高度为 393 km, 两目标轨道确定位置误差为 10 m 量级6。文中主要使用了 J2 000 地心平赤道惯性坐标系、轨道坐标系 (RTN 坐标系) 、目标本体坐标系以及欧拉角来计算和描述目标的位置、速度、姿态。其中, J2 000 地心坐标系原点为地球质心,
15、 参考平面为 J2 000.0 时刻的地球平赤道面, Z 轴正向指向北极, X 轴正向指向平春分点。RTN 坐标系原点为目标质心, R 轴为地心到质心的向径方向, T 轴在轨道面内与 R 轴垂直, 为飞行器运动方向, N为轨道面正法向。组合体与伴星的本体坐标系 o-xyz 如图 1 所示, 其中组合体本体坐标系原点为质心, 基本平面 xoz 为纵对称面, 滚动轴 ox 指向组合体前部, oy 轴垂直于基本平面, 与太阳帆板旋转轴平行。伴星的可见光相机视轴指向为 ox 轴负向。图 1 组合体和伴星的本体坐标系示意图 Fig.1 Body coordinate system of complex
16、and accompanying satellite 下载原图欧拉角 、 是用来确定定点转动刚体位置的三个角参量, 其中偏航角 为目标 ox 轴在 RTN 坐标系中 TON 平面上的投影与 OT 轴的夹角, 俯仰角 为目标 ox 轴与其在 TON 平面上的投影的夹角;滚动角 为目标 oy 轴与其在TON 平面上的投影的夹角。组合体太阳帆板正面 (装有太阳能电池片) 的法向与 oz 轴负向平行时, 定义帆板转角 为 0。通过组合体和伴星的轨道确定, 可获得两目标的任意时刻星历和姿态数据, 为成像仿真提供准确的相对几何关系参数, 包括:时间、组合体位置、速度和姿态;伴星位置、速度和姿态;太阳位置等
17、。在开展动态成像仿真实验的同时, 通过绘制、显示和观察三维可视化空间场景, 有助于理解、分析和掌握组合体成像效果的总体变化趋势, 使仿真过程具备真实感和沉浸感。在轨道确定基础上建立的三维场景如图 2 所示, 能动态演示伴星从天宫二号释放、远离以及伴飞的全过程, 宏观展示两目标、地球、太阳之间随时间推移的空间位置变化关系。图 2 组合体在轨飞行三维场景 Fig.2 3D flying scene of the complex 下载原图为实时仿真组合体在光照下的阴影效果, 文中采用了阴影映射的方法, 将目标表面各微面元与以纹理形式保存的光照深度图像比较, 判断面元是否处于光照范围之内进而生成阴影。
18、该方法可通过图形加速卡实现并且渲染速度较快, 满足仿真需求。如图 3 所示, 显示了飞船推进舱及喷管的阴影效果。图 3 成像仿真阴影效果示意图 Fig.3 Shadow effects of imaging simulation 下载原图2.2 组合体建模组合体建模主要是建立其三维几何模型以及表面材料的可见光散射特性模型。组合体由天宫二号空间实验室和神舟十一号飞船对接组成, 其中天宫二号由资源舱和实验舱组成, 全长 10.4 m, 舱体最大直径 3.35 m。飞船由返回舱、推进舱和轨道舱组成, 全长 9 m, 舱体最大直径 2.8 m。组合体表面材料主要有结构材料、热控涂层、多层隔热材料和太阳
19、能电池片等7。其中太阳能帆板正面是电池片, 背面为黑漆涂层。舱体表面用多层隔热材料覆盖, 有的部位喷涂黑漆, 有的是白漆涂层, 通讯天线表面通常为白漆涂层。文中根据工业部门提供的天宫二号、神舟十一号和伴星的模型文件, 使用三维建模软件 3DS MAX 进行编辑、加工和处理, 使用不同的颜色区别目标表面不同部位的组成材料, 根据成像仿真的需求, 分别保存为本体、太阳帆板等多个 3 ds 格式的几何模型文件。仿真工具软件能够导入各模型文件, 根据各部件相对几何关系和帆板转动角度等参数, 控制和显示不同姿态的组合体模型8。式中:k d为材质对入射光的漫反射系数;k s为镜面反射系数;g 为镜面反射指
20、数。一方面可以通过实验测量和数据处理, 获得不同材料在可见光波段内的平均BRDF 模型参数;另一方面可以根据在轨运行时相机实拍图像进行参数反演10。2.3 相机成像性能建模伴星可见光相机主要包括接收光学系统 (光学镜头) 、像探测器 CCD、信号处理电路等功能模块。相机对组合体拍照时, 组合体既受到太阳直接入射的光照, 也受到地球及大气反射的太阳光照。根据可见光成像的基本过程, 建立成像链路如图 4 所示, 主要包括组合体反射太阳光辐射、空间环境背景、接收光学系统、CCD 等成像环节, 然后根据线性滤波理论和光学成像理论建立各个环节的数学模型11, 重点研究组合体反射光能量在各环节的传递情况,
21、 以及各环节的空间频率传递特性。其中, 两目标相对运动和空间环境对成像结果的影响主要体现为图像退化 (模糊) 和恒星背景。图 4 可见光相机成像链路 Fig.4 Imaging chain of the visible camera 下载原图文中以目标像元为基本计算单元研究组合体可见光散射特性以及成像情况, 即将组合体表面各微面元与相机图像上的像元一一对应起来, 根据光学系统几何成像原理和各成像环节的能量响应特性、空间频率传递特性和噪声, 逐步地确定目标像元 Pmn的灰度值12。太阳、组合体、伴星之间相对几何关系如图 5 所示, 设组合体表面小面元 Smn经可见光相机成像后对应于 CCD 像平
22、面上单个像元Pmn, 其中 m、n 分别表示图像第 m 行第 n 列。图 5 太阳、组合体与伴星相对几何关系 Fig.5 Geometric relationship among the sun, complex and accompanying the satellite 下载原图基本计算过程是:根据当前观测时刻的姿态、星历数据对组合体目标进行各种变换后, 通过在 Open GL 中设置合适的光照模型参数进行渲染处理, 获取和计算出各面元所代表材质的种类、面元法向矢量坐标以及各有关角度参数, 生成初始的目标辐射亮度图像 L;然后根据接收光学系统和像探测器的能量传递特性、空间频率传递特性、噪声
23、模型以及视场内的恒星背景, 对辐亮度图像 L 进行处理, 计算 Smn对应的 CCD 像元 Pmn接收到的可见光辐射照度 Emn、产生的信号电子数 Nmn到最后量化后的灰度值 Imn, 最终生成目标可见光仿真图像。经光学系统到达像元 Pmn处的辐射照度 Emn为:式中: opt为光学系统的平均透过率;D 为光学系统口径;f 为光学系统焦距。在快门时间 te内 Pmn输出的电子数 Nmn为:式中:Q mn为 Pmn接收到的可见光能量;e 为电子电荷数;d 为单个像元尺寸; 为CCD 在可见光波段的平均量子效率;G 为平均增益。相机成像视场中的空间背景主要是恒星。设在 CCD 上成像的星等为 ms
24、的第 s 颗恒星所对应的像元为 Ps, 该恒星在光学系统入瞳处产生的辐照度为 Es, 则经过texp到达 Ps上的能量 Qs为:同理可计算出像元 Ps产生的电子数 Ns。设 CCD 的满阱电荷数为 nf, 对应于图像上的灰度值为 255, 则目标图像像素 Pmn的灰度值 Imn为:式中:G CCD表示 CCD 的增益随入射光产生的电子数 Nmn进行调节;G min表示增益的最小值。通过这种方法, 能够将组合体的可见光散射特性与可见光相机成像性能模型联系起来, 把无法直接求解的复杂目标表面曲面积分运算转化为逐像元的数值计算问题, 能够在给定相机参数和目标模型参数的条件下, 仿真出任意时刻的可见光
25、图像。3 仿真示例以公开发布的两幅组合体图像为例, 如图 6 所示, 进行仿真图像 (右侧) 与实拍图像 (左侧) 的对比分析, 其中上排为第 1 组, 下排为第 2 组。图 6 组合体实拍图像与仿真图像比对 Fig.6 Comparison of measured and simulated images of the complex 下载原图两组图像的相关参数如表 1 所示。表 1 组合体图像参数 Tab.1 Measured images parameters of the complex 下载原表 从基于人眼视觉的主观评价角度来看, 图 6 中仿真图像与实拍图像在组合体本体姿态、帆板转
26、动姿态、组合体可见部位及其光照阴影等方面, 整体上比较一致。由于两目标的星历存在误差、组合体三维模型的精细程度有限, 且表面材料的光学散射特性参数尚不准确, 因此仿真图像中组合体各部位的亮度与实际图像存在一定差异, 需要进一步深入研究。总体来说, 文中仿真方法是有效的, 仿真结果合理、可信, 达到了预期目的和效果。4 结束语文中介绍了天宫二号伴星可见光相机的成像仿真方法和研究内容, 主要包括两目标轨道确定、组合体三维几何建模和表面材质建模、可见光相机成像性能建模等, 使用 Visual C+和 Open GL 开发了仿真软件, 通过设置透视投影成像模型的有关参数, 综合处理组合体 3 ds 格
27、式模型、表面材质特性和可见光相机成像性能模型, 生成可见光图像序列, 仿真结果与实际情况比较吻合。使用文中的方法, 能够根据实际需求便捷地切换目标模型、成像系统各指标及其它初始参数, 便于开展天基光学成像探测仿真实验和验证工作, 为空间载荷设计、系统仿真和性能评估研究提供参考和依据。下一步研究工作包括: (1) 研究仿真图像逼真度的客观评价方法和指标。通过综合比较分析一维直方图分析法 (均值、方差和信息熵) 、二维直方图分析法 (偏离度、密集度、对角线峰值) 、结构相似度法等, 选取合适的评价方法并建立评价综合指标, 对仿真与真实图像之间的逼真度进行客观、定量的评估和验证。 (2) 与航天工业
28、部门共同开展真实空间目标表面材料光散射特性的地面测量工作, 并进行光散射特性参数的反演计算工作, 根据实拍图像调节和测试仿真过程中所使用的材质 BRDF 模型以及相应参数, 使仿真图像与实拍图像趋于一致, 从而提高目标光学散射特性建模和成像仿真的准确度。参考文献1Han Yi, Sun Huayan.Advances in space target space-based optical imaging simulationJ.Infrared and Laser Engineering, 2012, 41 (12) :3372-3378. (in Chinese) 韩意, 孙华燕.空间目标天
29、基光学成像仿真研究进展J.红外与激光工程, 2012, 41 (12) :3372-3378. 2Cody Singletary, Francis Chun.Simulating complex satellite and a space-based surveillance sensor simulationC/AMOS, 2009:1-10. 3Wang Ying, Huang Jianming, Liu Yu, et al.Simulation of lidar imaging for space targetJ.Infrared and Laser Engineering, 2016,
30、 45 (9) :0906002. (in Chinese) 王盈, 黄建明, 刘玉, 等.空间目标激光雷达成像仿真技术J.红外与激光工程, 2016, 45 (9) :0906002. 4Liu Fucheng, Liu Zhaohui, Liu Wen, et al.Space target sequence image simulation based on STK/matlabJ.Infrared and Laser Engineering, 2014, 43 (9) :3157-3161. (in Chinese) 刘夫成, 刘朝晖, 刘文, 等.基于 STK/matlab 的空间目
31、标序列星图仿真J.红外与激光工程, 2014, 43 (9) :3157-3161. 5Yan Libo, Li Jiansheng, Huang Zhongyi, et al.Space target optical imaging simulation in space-based systemJ.Computer Simulation, 2016, 33 (4) :120-124. (in Chinese) 闫立波, 李建胜, 黄忠义, 等.天基系统空间目标光学成像仿真方法研究J.计算机仿真, 2016, 33 (4) :120-124. 6Yang Qin, Song Rui, Ma
32、Yanxin, et al.Design and implement of space-based target imaging simulation systemJ.Laser&Optoelectronics Progress, 2015, 52 (11) :111101. (in Chinese) 杨琴, 宋锐, 马燕新, 等.天基空间目标成像仿真系统设计与实现J.激光与光电子学进展, 2015, 52 (11) :111101. 7Chen Hongyu, Zhu Zhencai, Wang Jiangqiu, et al.Dynamic imaging testing system o
33、f SZ-7 accompanying satelliteJ.Manned Spaceflight, 2011, 17 (5) :19-24, 52. (in Chinese) 陈宏宇, 朱振才, 王江秋, 等.SZ-7伴随卫星动态成像试验设计J.载人航天, 2011, 17 (5) :19-24, 52. 8Zhang Zuxun, Su Guozhong, Zheng Shunyi, et al.Relating Open GL imaging process with exterior and interior parameters of photogrammetryJ.Geomatic
34、s and Information Science of Wuhan University, 2004, 29 (7) :570-574. (in Chinese) 张祖勋, 苏国中, 郑顺义, 等.Open GL 成像机理及其与摄影测量方位元素的相关分析J.武汉大学学报:信息科学版, 2004, 29 (7) :570-574. 9Han Yi, Sun Huayan, Li Yingchun, et al.Method of space object imaging simulation based on Open GLJ.Computer Simulation, 2010, 27 (6)
35、 :267-270. (in Chinese) 韩意, 孙华燕, 李迎春, 等.基于 Open GL 的空间目标图像生成方法J.计算机仿真, 2010, 27 (6) :267-270. 10Zhang Yu, Duan Jianfeng, Chen Ming, et al.A method for improving the accuracy of space laboratory orbit determinationJ.Journal of Astronautics, 2016, 37 (9) :1056-1062. (in Chinese) 张宇, 段建锋, 陈明, 等.一种提高空间实
36、验室定轨预报精度的方法J.宇航学报, 2016, 37 (9) :1056-1062. 11Han Yi, Sun Huayan.Advances in space target optical scattering character researchJ.Infrared and Laser Engineering, 2013, 42 (3) :758-766. (in Chinese) 韩意, 孙华燕.空间目标光学散射特性研究进展J.红外与激光工程, 2013, 42 (3) :758-766. 12Han Yi, Sun Huayan, Li Yingchun, et al.Fast c
37、alculation method of complex space targetsoptical cross sectionJ.Applied Optics, 2013, 52 (17) :4013-4019. 13Han Yi, Sun Huayan, Feng Jianguang, et al.Analysis on different types of space targetsoptical scattering characteristicJ.Measurement Science and Technology, 2014, 25 (7) :075203. 14Xu Genxing.Optical Characteristics of Target and EnvironmentM.Beijing:Astronautic Publishing House, 1995:280-281. (in Chinese) 徐根兴.目标和环境的光学特性M.北京:宇航出版社, 1995:280-281.
