1、机房建设与规划的一些经验摘要:根据本人近十年管理机房的经历,吸取原机房设计及建设的经验、教训,对新机房的建设,并重点就新机房的综合布线提出了自己的一些想法。一、现机房的经验教训 本单位现在使用的主机房于 1995 年开始建设,1997 年投入使用。机房位于大楼的六层,面积有近 900 平米。除去办公区和辅助用房,纯机房设备区有 300 平米,包括放置主机、服 务器的主机间,放置网络设备的网络间,放置 UPS、配电柜、精密空调的配电间。机房设计采用上吊顶、下送风、下走线方式。当时建设了一个样板工程的机房,曾有包括国家级领导人在内的各级领导、同行近百人次参观、访问。但在十几年的运行中也发现存在很多
2、问题,主要有以下几点: 1、当时建设时主要是近十台小型机、很少量的立式服务器。现在是以机架式高性能服务器为主,有近 20 个机柜,100 多台服务器。UPS 负载逐渐不够,于 2003 年由 2 台 30KFA 的更换为 2 台 60KFA ,但现在单台负载也已接近 50%。2、设备的大量增加,使精密空调制冷无法满足需要,原 2 台 40KW 的精密空调,于 2006 年更换为 3 台 35KW 的精密空调,并且将 2 台空调直接安放在主机间。但现在夏季机房温度 仍高过标准。3、机房综合布线采用下走线方式,虽布设了走线槽,但随着设备的增加,很多线已无 法由线槽容纳,而且强、弱电都是下走线,走线
3、混乱。并由于线缆过多,对空调下送风的效 果影响愈发明显。4、由于建筑设计原因,吊顶上有水管走设,地板下高度只有 20CM,并且由于强、弱电 都是下走线,使制冷效果大打折扣。5、由于当年综合布线设计的前瞻性不够,造成现在机架背面线缆密密麻麻没有秩序, 地板下的线缆一片狼藉,给管理、散热等都带来问题。做为多年管理机房的负责人,由于办公楼搬迁,我又做为新大楼机房的建设负责人,希望尽力吸取已有的经验、教训,利用这些年来在机房建设、管理上出现的新理念、新技术,建设一个满意的机房。二、准备建设的新机房情况随着国内口岸经济的发展,为更好服务于企业,服务于地方经济。本单位办公楼准备采用置换方式由市区搬迁到开发
4、区。新办公楼由地方政府提供,是一个未完工的星级酒店,主体建筑完成后一直停工多年,大楼所有装修由本单位负责。原大楼是 10 年前所建,层高 29 层,设计为酒店,未考虑建设机房。经过研究,现已确 定大楼的 6 楼做为本单位中心机房。机房总面积是 900 平方米,是一个标准的正方形,楼房 中间电梯、消防楼梯、通道等占去 300 平左右。层高不理想,净高 3.1 米,梁下高度为 2.55 米。楼板需要按机房标准加固。新机房准备 2008 年年底开始进行建设,2009 年年底搬迁。三、对新机房建设的设想虽然提供的场地不是很理想,但做为一个多年进行机房管理的技术人员,接受了新机房建设的任务后,仍然有决心
5、建设一个满意的机房。数据中心的发展趋势:在完成了物理资源大集中、数据大集中和应用大集中后,又面临着绿色节能的新要求。新机房建设的目标:建设一个高效、节能、简捷、安全、稳定、绿色环保、具有高可管理性、高可靠性、高经济性、高可扩展性、高可用性的符合现在及将来要求的高标准的具有长远效益的新一代的数据中心。 新的数据中心需要具有高集中、高密度、高带宽、高速率的 724 小时不间断运作的特点,同时又要具有很强的可扩展性。首先要建设一个绿色数据中心,也就是这个数据中心的系统、机械、照明、电气和综合布线系统等能取得最大化的能源效率和最小化的环境影响。同时又要保证数据中心的灵活性,既能满足现在的需求,适度超前
6、,又不浪费,对将来的需求有良好的扩展性。还要考虑今后的管理维护成本,从机房的整个生命周期来考量,建设成本其实只是总成 本的 10%20%,更多的成本是花在将来的维护和电费等费用上。新的数据中心从功能上可划分为 5 部分: 1、机房装修:包括主机房、办公区、系统监控中心、动力等四个分区的环境工程。 2、空调:专用空调系统、新风系统等。3、消防:气体消防、消防报警等。4、弱电系统:机房综合布线、机房环境监控、KVM 等。5、电气系统:UPS 、柴油发电机、防雷、配电、接地等。 对机柜的需求:主机房内拟放置 60 台机柜,包括强电列头柜、弱电列头柜、服务器及存储机柜,网络通信机柜。对 UPS 的设想
7、:使用模块化 UPS,UPS 柜、配电柜做为强电列头柜。使 UPS 的冗余从 N+1 转变为 N+X。对空调的设想:办公区使用大楼中央空调,设备区整体使用机房精密空调,高密区使用机柜式行间空调。尽量抬高地板高度,使通风顺畅。走线方式:受层高限制,采用开放式上走线方式,强弱电线缆分离,同时取消机房吊顶。就本文的主题,下面主要就新机房的综合布线提出自己的一些想法。四、新机房综合布线对数据中心综合布线系统的理解:实际上就是利用综合布线技术在数据中心这样一个应用环境进行一个有效的系统集成。 1、目标:与十年前不同,这些年音频、视频、邮件等非结构化数据大量涌现,要求新的数据中心有着特别大的吞吐量和很宽的
8、带宽。这样,一方面,要保持技术的领先性,另一方面,要充分考虑到将来的可管理性、安全性、灵活性、经济性。 (1) 可管理性:综合布线未来的高可管理性和易维护性非常重要,希望采用智能化的电子配线系统,能自动、实时地记录每一个连接的变化。同时,每一个变化都能在电脑上自动更新,能以电子邮件或者短消息的形式通知相关管理人员,以提高网络设备的利用率,提高网络维护的效率,变网络设备的静态管理为动态管理。本单位的网络划分较多,主要有以下所列:业务运行网:运行核心通关管理系统;业务管理网:运行办公自动化系统、数据分析类非实时系统;政务信息网:保密网络(需要建设屏蔽机房,并进行屏蔽布线);电子口岸网:海关的对外接
9、入局域网;对外联网:与省、市地方政府,公安系统,港口分别联网进行数据交换;互联网。以上各网络都是相互独立,并物理隔离的。希望各网络能采用色彩化、模块化、标签化管理,跳线、模块的颜色种类能满足需求,以方便管理、维护。 (2) 安全性设想采用集成的和机柜融合的接地解决方案,以避免雷击事故;选择高阻燃等级的线缆,以提高防火等级。 (3) 灵活性:为方便管理、维护,整体设计上拟采用结构化的星形网络拓扑结构。 (4) 经济性: 结合铜缆和光纤,以最经济的方式满足今天的需求并支持今后的高带宽应用 2、设计理念:在整个数据中心的设施里,综合布线系统的生命周期最长,一般在 10 年以上,甚至等 同于建筑的生命
10、。要承受未来 10 年之后的网络流量与越来越复杂的网络管理,这需要基于 正确的设计理念来完成。(1)要采用基于标准的开放系统; 综合布线系统首先要依据标准,严格按照规范进行设计; 要选择好的品牌,根据品牌知名度、大项目成功案例等选择如西蒙、安普、康普、康宁等主流布线企业。充分实现增加和改动的灵活性和可扩展性。 (2)充分考虑冗余性; 综合考虑将来所需求的高性能和高带宽,充分预留扩展空间; 考虑线路的冗余,采用模块化、可扩展的方式,使布线系统美观、合理、实用。 (3)采用支持 10G 万兆或更高速率的技术;数据中心发展趋势是数据越来越集中,要求数据处理的速度更快,以前是千兆,现在是 万兆。展望将
11、来的发展,要考虑到 10G 技术。要确保在相当的一段时间内,无需更换或升级 布线系统。(4)要考虑支持新型存储设备; 现在已从以服务器为中心发展到以存储为中心,要考虑对存储设备的有效支持。 (5)安全性;考虑采用 CMP 防火等级线缆; (6)采用交叉连接的管理;交叉连接所具有的管理便利性与可靠性是互连方式所无法比拟的。使用交叉连接方式,可以将与交换机和服务器连接的线缆固定不动,视为永久连接。当需要进行移动、添加和更换时,只需变更跳线盘之间的跳线。这样,在日常维护时将尽量避开接触敏感的设备端口。 (7)避免外来串扰对数据中心布线的影响; 既要注意美观的布线,同时又要防止背后隐藏的外来串扰的威胁
12、。线缆敷设时,避免过紧捆扎、超量的通道填充容量和避免过于弯曲。采用 6A 类以上的布线系统、万兆屏蔽布线 系统以及完善的接地系统等。(8)尽量节约空间,实现数据中心高密度布线管理; 规划设计时尽量做到以最小的空间实现最大的应用,通过高密度配线架等设备的使用以节约空间。(9)冷热通道要充分体现; 在设计以及施工环节要注意布线系统不能成为冷热通道的障碍。 (10)充分体现环保节能; 采用良好的设计和施工延长布线系统生命周期。通过产品设计降低原料的消耗。 (12)数据主干网的选择; 拟采用万兆多模或单模光缆。3、设备选型 (1 )配线架的选择拟选择模块化的配线架以灵活配置端接数量,既减少端口浪费又便
13、于日后的维护变更。拟使用高密度配线架,提高机柜的使用密度,以节省空间。 (2)跳线的选择 用颜色来区分不同网络的跳线; 跳线性能指标应满足相应标准的要求;拟采用高密度的铜缆和光纤跳线,以提高高密度环境的插拔准确性和安全性。 (3)线缆的选择 选择标准:具有长久的使用寿命,尽量减少占用空间,具有更好的传输容量,具有安全阻燃性,提供多种颜色区分;拟选择的传输介质:6A 类双绞线;多模光缆;单模光缆。 (4)机柜的选择 选择开放式的机架,来安装配线设备;选择封闭式的机柜,来安装网络设备、服务器和存储设备等; 统一采用标准的 19 英寸的机架和机柜。预留足够的布线空间、线缆管理器、电源插座和电源线以确
14、保充足的气流。 (5)线缆管理器的选择灵活使用水平线缆管理器和垂直线缆管理器实现对机柜或机架内空间的整合,提升线缆管理效率,避免跳线管理的杂乱无章。 (6)预连接系统采用包括配线架、模块插盒和经过预端接的铜缆和光缆组件在内的预连接系统。以快捷地连接系统部件,实现铜缆和光缆的即插即用,减少变动的风险,节省空间,使管理和操作具有方便性、灵活性。由于新机房还未开始设计、施工,以上所述是本人的经验总结和一些学习、研究的心得,难免有不成熟、不准确的地方,还需要在下一步设计、实施时完善、细化。也希望得到相关专家、厂商的帮助、指点。同时,还有一些拿捏不太准的问题,在此一并提出,希望得到大家的指教。五、有待探
15、讨的问题: 1、根据现有条件,基本确定采用上走线,下送风的方式。但对于强电是采用与弱电同时上 走线,还是弱电上走线、强电下走线。哪种方式更合理一些? 2、布线所涉及的基本都是无源的产品,那么从布线角度上,如何实现数据中心的绿色环保 节能? 3、在最先进的技术和最成熟的技术、在先进性和稳定性之间,对技术和产品的把握,如何 平衡、拿捏?4、根据这些年带宽增长的情况,以太网技术经历了从 10 兆到 100 兆到 1000 兆,发展到现 在的 10Gbps(万兆)以及 40 Gbps,现在的数据中心布线带宽怎样确定?怎样做到既具备一定的先进性,同时又节约实用? 5、对于封闭式机柜和开放式机架,在美观和散热通畅之间的选择? 6、可实现智能管理的电子配线的价格是普通的配线系统的三到四倍,在一次性现时投入和 日后的方便管理之间如何平衡?