1、搭建经济高效的制作网络服务器群试验平台广播电视中心搭建经济高效的制作网络服务器群试验平台查小亚张华宁夏广播电视总台1 引言非线性制作网络给电视台带来了更高的工作效率,更精美的电视包装,更完善的工作流程等等.但在带来诸多好处的同时,也给各家电视台带来了繁重的网络维护任务.非线性制作网络的维护工作不同于传统的电视技术lh7 的工作,系统中大量使用的是T 设备,加上各种类型的软件 ,使得非线性制作网络的架构复杂,环节多,相应崩溃点也就多,网络一旦出现大的问题会直接影响到安全播出.对_个重大网络问题的解决时间的长短是我们衡量个网管人员水准的一个重要参数.现在,每个电视台对网络的运营维护也都非常重视,都
2、有自己的网络管理部门,那么,如何提高这些网络管理部门的技术水平,提高网管人员解决问题的能力呢.我们说计算机是一门实践课,学习和实践是提高网管能力的最好手段,但是一般情况下,我们的非线性制作网络一旦投入运营就很难有机会停下来,也不可能有哪一家电视台的领导敢于让自己的网管人员在生产网络上去大胆实践.这个矛盾促使我们产生了一个想法:搭建一个服务器群测试环境.如果和生产环境一样,购买服务器光纤交换机磁盘阵列来搭建一个测试环境,那成本极高,目前还没有看到哪一家电视台能够做到.在宁夏广电总台,我们成立了一个课题组,经过相当一段时间的分析,测试判断实施,我们成功了.这是一个相当经济而又相当有效的服务器群测试
3、环境,我们利用 24 台办公电脑,添加 2 块 1OOM 网卡,2 块 39160U2SCSI 卡,2 块希捷 36GSCSI 硬盘 1 个 8 口集线器(Hub),除去已有的办公电脑,使用资金总量不超过 3000 元人民币.2 分析,测试,判断宁夏广电总台网络使用开始于 2003 年,双网结构 28个有卡站点,16 个无卡站点.网络主框架存储区域网+光纤通道(SAN+FC),存储选用分布式数据库系统(SDD), 服务器平台选用 Windows2000.根据过去的网络故障登记日志,经过一段时间的数据分析统计,宏观上我们把问题归为硬件故障和软件故障两类.(1)硬件故障: 硬件的集成涉及了众多 T
4、 厂家,非常复杂,但在网络中控部分我们选择的设备基本上都是高可用设许故障外,未发生任何设计上,运转上的问题.所有编辑播出人员均已进入正常运转状态,数据传输.节目质量人员设备的工作效率均达到了前所未见的优异效果.(1)每一个编辑记者只需 1 台 DV 摄像机即可:他们通过 DV 连接线完成全部工作,不必再通过对编设备,既不需要使用编辑机,又增加了录像带的使用寿命,减少了用量.(2)明确了责任分工,无论是哪个环节上出现了问题,都可通过服务器查询,找到责任人,消除了扯皮现象(3)提高了工作效率,不需要专人每天送录像带到播出机房一一清点交接录像带;总编不需要再到审片室编辑放机前审片,只要在有网络的地方
5、即可审核通过;编辑 ,记者可以在莱州市内以至于烟台地区内通过广电 VPN 专网共享各种视音频资料,进行异地新闻编播.(4)减少了发生错误的几率:每个环节上互相审查和监督,播出人员在下载时即可预览发现,口题及时修正.(5)降低了运营成本:非编系统的成本只有原编辑设备的 1/1O1/5.并且不需要经常更换磁鼓等易磨损件 ,从而大大降低了运营成本.6)在制作模拟频道节目的同时,积累了大量的数字节目素材.数字电视的影视频道可直接采用这些素材播出,大大降低了运营成本.(收稿 El 期:2006-04-30)ARadioTVBroadcastEngineeringNoV.2OO6用的超大规模集成电路维护手
6、段以更换为主.(2)软件故障软件的使用和硬件集成一样非常复杂.大的方面有群集软件,数据库软件,备份软件,管理软件,制作软件,监控软件,存储软件几大类.这其中又以 Orcale数据库软件为核心层层展开工作.2005 年宁夏广电总台的非线性制作网络出现过两次停止使用的瘫痪故障均由于Orcale 数据库受损引起.结合以上数据统计和平时的工作经验我们把服务器群的测试重点放在了数据库服务器上对于大部分电视台所使用的 SAN 环境.还都有一些元数据控制器(MDC)服务器我们把 MDc 服务器作为测试环境的次要部分,也拿出一台办公电脑来模拟 MDC 服务器.系统逻辑图如图 1 所示根据图 1 我们会发现一个
7、制约资金的关键,服务器可以用办公电脑代替 Hub 有了网线连接更是小事,但是共享磁盘阵列呢.双机作群集.按照众多资料上提供的方案,需要双通道 SCSI 盘阵加上至少 3 块 SCSI 硬盘.这是系统中比较重要的一环,我们只用了 2 块 SCSI 硬盘,没有选择双通道 SCSI 盘阵 .只用了一个最简单的 SCSI 硬盘盒.我们通过外置查阅微软的基本技术参考文章和长时间地测试认为可行.因此大胆尝试不断摸索,最终用 2 块普通 SCSI硬盘获得了成功.如果用一个 SCSI 盘阵加上至少 3 块 SCSI 硬盘,最便宜的价格也要数万元,而一块普通 SCSI 硬盘 ,如选择的希捷 36G 价格只有几百
8、元,而且一般过去使用的非线产品中都有淘汰下来的 SCSI 小容量硬盘.这种价格,最终使我们搭建群集测试环境变得非常经济可行.3 实践实施具体的实施重点是如何解决用 SCSI 硬盘连接来替代双通道磁盘阵列.SCSI 硬盘是我们比较熟悉的设备通常我们使用 SCSI 硬盘的时候会有一个 SCSI 终结器.在技术实现上我们有这个想法,也就是从 SCSI 终结器的原理上开始的 .总线终结器能告诉 SCSI 主控制器整条总线在何处终结,并发出一个反射信号给控制器,必须在两个物理终端作一个终结信号才能使用 SCSI 总线.终结的方式有三种 :自终结设备物理总线终结器和自终结电缆.大多数新型 SCSI 设备都
9、有自终结跳线,只要把非终结设备的自终结跳线设置成 OFF 即可避免冲突问题.物理总线终结器是一种硬件接头,又分为主动型和被动型两种主动型使用电压调整器来进行操作,被动型利用总线上的能源信号来操作,被动型比主动型更为精确.自终结电缆可以代替物理总线终结器也是一种硬件它的价格非常昂贵,常用于两个主机连接同一个物理设备,例如,两个服务器存取同一个物理 SCSI 硬盘.通过一些基本知识的学习掌握我们课题组首先确定了两个主机通过定的方式存取同一个物理 SCSI 硬盘是可行的.接着我们要在网络上检索自终结电缆这个设备.很遗憾的是根本没有相关厂家或者报价的信息甚至连深入介绍自终结电缆的文宇都没有.这时我们设
10、想使用普通的 68 针SCSI 连线设备能否可行.随后我们分别与硬盘厂家和 SCSI 设备厂家进行了沟通.都未置可否;和一些系统集成厂家的技术沟通,得到的均是否定答案.查阅微软的基本技术参考文章,上面简单提到的一些细节让我们得出判断:我们的设想可行.有了理论上的想法我们课题组开始着手实践.3.1 硬件连接我们把一台办公电脑作为群集节点 1 再拿一台作为群集节点 2,每个群集节点都至少需要两个网络适配器一个连接外网,一个连接内部网.我们现在的计算机主板上一般都集成有网卡所以我们又添置了两块很便宜的百兆网卡.在这一步要注意的地方是我们选择的办公电脑品牌配置都是一样的.选择的网卡是一样的,网卡设置也
11、相同,板卡在计算机中安装的槽位也要一致,用心跳线连接节点 1 和节点2 的两块相同槽位的网卡,另外两块网卡和 Hub 分别连接作外网.两块 adaptecscsi 卡 39160U2 的安装也在两台机器的相同槽位 SCSl 主控制器分别占用 id6 和 id7.adaptec39160U2 是双头的 scsi 卡性能较高但价格很低R 冉 din 品 TVRrl*lla昌盛 tFnnin 鼻鼻 rnnSCSI 电缆分内置和外置两种 .内置电缆一般在计算机内部使用.多使用双绞编织线,这样的连线可以有效减少线缆间信号干扰,在我们的测试环境中会同时用到内置和外置这两类 SCSI 电缆其中节点 1 用两
12、根外置 SCSl 电缆.分别连接到外置硬盘箱的两块硬盘的内置 SCSI 电缆的一端上 .把内置 SCSI 电缆的另一端上的 SCSI 终结器拔掉.再用两根外置SCSI 电缆连接到群集节点 2.连接方式如图 2 所示.3.2 软件安装软件安装的内容比较多.包括操作系统群集配置,数据库群集安装.还有可能涉及第三方群集软件安装和第三方网管软件安装.(1)在软件安装过程中要注意节点上电的顺序在安装过程中,一些节点将要关机.而另一些节点将会重启.这些步骤是必要的,保证连接到共享总线上的磁盘里的数据不会丢失或被破坏.这样.可以保证在某个磁盘没有被群集软件所保护时.不会同时有多个节点对它进行写操作.使用表
13、1.确定每步应该对哪个节点或存储设备授权.该表是针对两节点群集的.然而.如果要安装超过两个节点的群集.使用节点 2 所在列里的信息,确定其他节点的必要状态通过以上的上电检测.两个节点应该都能够访问到两块SCSI 硬盘才可进行下一步软件安装 .在这里我们遇到一个问题,就是节点开机上电.在主板检测 SCSI 设备时,机器会死机.经过实践我们找到了解决办法在给共享存储器上电后首次给节点 1 上电之前.先把节点 2 打开.节点 2 会停滞在SCSI 检测项目上出现死机此时再打开节点 1,节点 1 则会顺利检测到 SCSI 硬盘并启动机器 ;节点 1 启动之后,再重新启动节点 2 这时候节点 2 也会顺
14、利启动.这一点我们分析可能是由于去掉了终结器,SCSl 主控制器接收不到反射信号的缘故.因为没有更多的检测设备,所以我们也没有办法验证我们的分析.课题组也和硬件厂家进行了沟通.也没有得到一个很好的解释.但是.按照上述办法来开关每个节点SCSI 设备和各个节点就会正常运行 .(2)群集配置我们选择两台配置较高的计算机来搭建测试环境中服务器群集部分,在这里把两个服务器节点 1 节点 2 取名为NTVOrcale 和 NxTVBackup.NXTV-Orcale 设置为数据库服务器 1 同时为主域服务器.NXTVBackup 设置为数据库服务器 2.同时为备域服务器.(a)安装 Windows200
15、0 操作系统在群集里的每个节点上安装 Windows2000 先进服务器版本(AdvancedServer).(b)安装网络广播电视中心表 1 群集安装中节点上电顺序步骤节点 1 节点 2 存储注释检查所有共享总线上的存储设备是否都设置网络上电上电断电已经断电.给节点上电所有节点断电.给共享存储器上电给安装共享磁盘上电断电上电节点 1 上电检查磁盘配置断电上电上电节点 1 断电给节点 2 上电配置节点 1 上电断电上电对所有节点断电.对节点 1 上电配置节点 2 上电上电上电在成功配置好节点 1 后.给节点 2 上电加电安装上电上电上电在这里所有的节点都必须上电每个群集节点都至少需要两个网络适
16、配器一个连接外网.一个连接内部网.重命名局域网络图标为明确起见,我们建议改变网络连接的名称.这有助于区分网络.并正确地指定其角色.配置专用网网络适配器配置 lP 地址和连接速率 :在高级选项页上 .设置网络速度为实际速度.而不是缺省选择的速度在专用连接中禁用 wlNS 和 DNS 注册:检测专用网卡(private)中 WINS 的地址为空 .选择 DNS 选项卡,将选择“ 在 DNS 中注册此连接的地址“的/删除.配置公众网网络适配器检测和更改网卡绑定顺序先绑定公共网络的网卡(publiC),再绑定用于专用连接的网卡(private).验证连接和名称解析公共 lP 地址和主机名在 DNS 中
17、注册:专用 lP 地址和主机名在 HOSTS 注册验证网络连接 .(C)配置共享磁盘这是我们实验平台里比较重要的一环.共享磁盘的建立安装两台节点上的相同的 SCSI 卡,安装在同一槽位 .在节点 1 即 nxtvorcale 上设置 SCSIID7,在节点 2 即 nxtv-backup 上设置 SCSIID6.以上工作完成后,对所有的节点断电.对硬盘箱上电,然后对节点 1 上电.进入磁盘管理,找到 SCSI 硬盘.首先如果是动态磁盘的话.先把它还原成基本磁盘,第一块硬盘建立1 个空间较小主分区,格式化成 ntfs.第二块硬盘全部容量也建立 1 个主分区.规划定额磁盘定额磁盘是用来存储群集配置
18、数据库的检测点和日志文件,以帮助管理群集.在群集服务安装过程中,必须为定额2006 年第 11 期广播与电视技术_皇!:l磁盘提供驱动器标号.我们使用的是 x:Cluster1 空间 600M.配置共享磁盘关闭服务器节点 1.打开服务器节点 2 在服务器节点2 上共享磁盘在这过程中保持服务器节点 1 关闭(d)设置群集用户账号(e)安装群集软件配置首节点在节点 1 上进行群集服务的安装过程中所有的其他节点都应关闭,或在 Windows2000 重启前关闭.应该对所有的共享存储设备加电.将 Windows2000 光盘放入节点 1 的光驱中,点击开始一程序一管理工具一配置服务器一高级一选择群集服
19、务点击安装群集服务.-选择群集中的第一个节点,然后单击下一步;?键入:clusterserver 然后单击下一步 .注意群集的名称不能和网上任何主机名,域名冲突?键人群集服务账号的用户名它是在安装前创建的.(在我们的例子里,该用户名是 cluster);-选择定额磁盘如 x:(cluster1):?单击下一步;?选中只用于内部群集通信选项单击下一步;.选中所有通信(混合网络) 选项,单击下一步;-确保表里的第一个连接是内部群集连接并单击下一步.在设置连接的顺序时,把内部群集连接排在表中的第一位;输入唯一的群集 IP 地址(192.168.1010) 和子网掩码(255.255.255.0),并
20、单击下一步这样就完成首节点的群集配置.通过拷贝所需要的文件,群集服务安装向导将完成节点1 的安装过程从而完成群集服务的安装.当完成文件拷贝后,将生成群集服务注册入 13,在定额资源上创建日志文件,并在节点 1 上启动群集服务.对话框提示群集服务已成功启动.验证群集安装生效使用群集管理插件,使节点 1 上的群集服务安装生效.单击开始单击程序单击管理工具,并单击群集管理器,查看生效选项.配置节点 2在这一部分,当对节点 2 上电的时候,让节点 1 和所有的共享磁盘都保持在上电状态.注意,如果节点 2 没有设置群集在节点 2 本地管理员权限.系统提示加入群集账号.安装完成之后.进入群集管理器.看到节
21、点在群集里.检验集群检验群集安装是否成功:选择开始一程序一附件Windows 资源管理器定额盘x 是可用的点击 x 盘去查看节点 1 节点的 x 盘中的 MSCS 文件夹其中有 quolog 文件不要打开或修改它.移到节点 2 选择开始菜单一程序一附件一 Windows 资源管理器节点 2 节点中应当看不见 x 盘.关掉节点 130s 后用 WindowsExplorer 在节点 2 上找到x 盘.如果节点 1 失效,则切换至节点 2.至此群集检验完成.4 测试环境后续工作和总结服务器群集安装成功后接下来的工作就是安装 Oracle数据库软件并且在操作系统群集的基础之上安装 OFS 数据库双机切换组件.对这一类的安装说明,有兴趣的同志可以参考 Oracle 的技术文档在这里不再赘述.至此,试验平台
