1、1光学与电子信息学院生产实习报告安防行业云存储解决方案学生姓名：XXX学 号：XXX实习单位：杭州海康威视数字技术股份有限公司实习岗位：技术支持工程师导 师：XX实习时间：2017 年 6 月 202017 年 7 月 21 日2017 年 8 月2目录一、实习单位简介 .3二、安防云存储研究背景 .4三、云存储简介 .5四、云存储系统的设计原则 .6（一） 、设备层 .7（二） 、存储层 .7（三） 、管理层 .7（四） 、接口层 .7（五） 、应用层 .8五、安防行业云存储系统的核心技术 .8（一） 、安防行业的云存储技术 .8（二） 、虚拟化技术 .9（三） 、集群化技术 .10六、安防
2、行业存储的发展趋势 .11七、海康存储配置方案 .13（一） 、CVR 配置 13（二） 、存储 putty 常用命令 .183一、实习单位简介海康威视是以视频为核心的物联网解决方案提供商，为全球提供安防、可视化管理和大数据服务。海康威视全球员工 2万人（截止 2016 年底） ，其中研发人员超 9300 人，研发投入占企业销售额的 7-8%，绝对数额占据业内前茅。海康威视是博士后科研工作站单位，在国内设有五大研发中心，在海外建立蒙特利尔研发中心和硅谷研究所，海康威视拥有视音频编解码、视频图像处理、视音频数据存储等核心技术，及云计算、大数据、深度学习等前瞻技术，针对公安、交通、司法、文教卫、金
3、融、能源和智能楼宇等众多行业提供专业的细分产品、IVM 智能可视化管理解决方案和大数据服务。在视频监控行业之外，海康威视基于视频技术，将业务延伸到智能家居、工业自动化和汽车电子等行业，为持续发展打开新的空间。海康威视在中国大陆 35 个城市设立分公司及售后服务站，在境外，设立香港、荷兰、南非、印度、迪拜、美国、加拿大、巴西、俄罗斯、新加坡、意大利、澳大利亚、法国、西班牙、波兰、英国、韩国、哥伦比亚、哈萨克斯坦和土耳其等 33 个分支机构。海康威视产品和解决方案应用在 150 多个国家和地区，在 G20 杭州峰会、北京奥运会、上海世博会、美国费城平安社区、韩国首尔平安城市、巴西世界杯场馆、意大利
4、米兰国际机场等重大安保项目中发挥了极其重要的作用。海康威视是全球视频监控数字化、网络化、高清智能化的见证者、践行者和重要推动者。连续六年（2011-2016）蝉联iHS 全球视频监控市场占有率第 1 位，硬盘录像机、网络硬盘录4像机、监控摄像机第 1 位 1；连年入选“国家重点软件企业” 2、 “中国软件收入前百家企业”3、A&S安全自动化 “中国安防十大民族品牌” 、CPS 中国公共安全 “中国安防百强” （位列榜首） ；2016 年,A&S安全自动化公布的“全球安防 50 强”榜单中，位列全球第 1 位。2010 年 5 月，海康威视在深圳证券交易所中小企业板上市，股票代码：002415，
5、长期位居中小板市值前 3 位。基于创新的管理模式，良好的经营业绩，公司先后荣获“2016CCTV 中国十佳上市公司”4、 “中国中小板上市公司价值十强”5、 “2016 年 A 股上市公司未来价值排行以及 A 股最佳上市公司”榜首 6、 “第六届中国上市公司口碑榜最佳公司治理实践奖”7、 “中国中小板上市公司投资者关系最佳董事会”8“上市公司金牛投资价值奖”和“最佳投资者关系管理奖”9 等重要荣誉。海康威视秉承“专业、厚实、诚信”的经营理念，坚持将“成就客户、价值为本、诚信务实、追求卓越”核心价值观内化为行动准则，不断发展视频技术，服务人类。二、安防云存储研究背景安防产业的蓬勃发展离不开对海量
6、视频和图片数据的深入挖掘和分析。由传统的仅仅将数据进行存储到注重从数据中获取真实需要的关键信息为具体的业务提供支撑，云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是一个必然的过程。随着视频监控系统规模不断扩大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，5对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要
7、，存储系统正在成为视频监控技术未来发展的决定性因素。面对百 PB 级的海量存储需求，传统的 SAN 或 NAS 在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。三、云存储简介云存储是进年来在存储领域兴起的一种新技术，云存储顾名思义是将复杂的存储功能实现封闭在云端，通过一种简单的方式为用户提供优质的存储服务。具体过程是云存储通过软件将系统内大量不同类型的存储设备管理起来，运用虚拟化技术、集群化技术、离散存储技术、分布式数据库等对系统内的设备资源、存储容量资源进行专业化整合为用户提供大容量、高性6能的透明
8、存储服务。四、云存储系统的设计原则云存储系统的设计原则应该采用业务控制和业务数据分离的设计思路。在存储模式上新增加元数据管理节点专伺于系统的资源管理、任务调度和运行维护，元数据管理节点不具体执行写入、读取等业务操作，而将这部分功能交给存储服务节点负责。云存储的整体设计形成一种松耦合非对称系统架构，在实际的运行过程当中该架构能够使系统提供灵活多变的业务扩展属性和持续稳定的性能增长。在硬件设备规模和存储容量不断扩大的情况下系统性能能够与存储容量保持线性增长，这种属性也为云存储基础上的云服务扩展奠定了基础。采用松耦合非对称系统架构的云存储系统在具体软件设计的层次上可以如图划分为以下五个层次：7（一）
9、 、设备层设备层是云存储最基础、最底层的部分。在系统组成中，存储设备可以是标准 SAN 架构下的 FC 光纤通道存储设备或iSCSI 协议下的 IP 存储设备，这些存储设备构成云存储的存储资源基础。（二） 、存储层存储层含有云存储流式文件系统和虚拟化资源系统。通过云存储流式文件系统和虚拟化资源系统，实现存储传输协议和标准存储设备之间的数据逻辑结构或磁盘阵列的映射。存储层另一类重要功能就是具体实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。（三） 、管理层在管理层融合了多种核心的管理功能。负责实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像
10、计划的主动下发，以及硬件设备的状态监控和故障维护等；存储业务响应，以及存储资源调配也由管理层负责。（四） 、接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可以是 Web Service 接口、API 接口、Mibs 接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现与外部系统之间的对接。8（五） 、应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的范畴，但是在视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高视频云存储系统的针对
11、性。五、安防行业云存储系统的核心技术（一） 、安防行业的云存储技术安防产业的蓬勃发展离不开对海量视频和图片数据的深入挖掘和分析。由传统的仅仅将数据进行存储到注重从数据中获取真实需要的关键信息为具体的业务提供支撑，云存储不但在满足海量数据存储需求上契合了安防行业的发展趋势，同时在应用性和专业化程度上也逐渐发展和深化。那么，带有行业属性的云存储系统的出现就是一个必然的过程。安防行业与互联网行业应用有着明显的差别。在互联网应用中有着数以亿计的用户，这些用户分布在世界各地而且应用需求也千差万别。互联网用户产生的数据总量虽然非常庞大，但是数据信息类型却也非常复杂，单个数据文件大小相对较小。安防监控领域的
12、视频数据则具有非常明显的特征，其数据流依照时间顺序持续产生，并且数据量非常庞大。随着高清和超高清摄像机的不断加入，数据量的爆炸性增长可想而知。这类长时间、大流量的数据在进行存储时对传统的文件系统产生了非常大的压力，传统的文件系统在数据的存储上很少考虑到数据连续性问题，在磁盘空间的利用率上也尽可能地将数据的存储粒度降低以满足 P2P 式的文件下载访问需求。而这这种方式对视频流数据则极为不利，系统在从存储中提取数据后需要耗费大量资源对数据按照时间顺序进行重组，而且为了提取某段长时间的视频数据磁盘寻址延时和等待延时会几何级数地增长，照成视频数据提取和分析时间过长，阻碍了安防监控应用9的发展。作为安防
13、监控领域的云存储系统如果不改变这种结构化数据的存储思路，那么是无法支撑云计算以及大数据智能分析发展需要的。作为安防监控领域的云存储首先面临的就是对文件系统的改造，针对视频数据的特点，在数据持续写入时需要强关联其时间属性，同时优化磁盘的存储空间，合理安排数据的存储资源分配。在对文件系统进行全面优化后形成一套适合视频数据存储和读取的具有流式数据特点的云存储文件系统，也称为流式文件系统。（二） 、虚拟化技术虚拟化技术的应用也是衡量一套存储系统是否成为真正意义上的云存储的一个重要标志。虚拟化技术分为两个方面来探讨，最基础的技术要求是对云存储系统内所有存储资源的整合。传统的 NVR 或者 CVR 堆叠模
14、式虽然在发展的过程中有许多厂家也注意到了对资源的统一管理工作，但是其管理的粒度仍然是以单个存储设备作为基础的，这种程度的整合会导致系统的控制粒度过大、存储资源利用率偏低。而真正意义上的虚拟化整合则需要更加的细化，云存储在管理存储资源时需要能控制到存储设备上的最基础存储单元，因此通过对最基础存储单元的整合作为虚拟化的一个重要指标。对元数据管理服务器来说只有看得清楚、管得细致，了才能做到对存储资源的合理利用和优化整合。虚拟化的另一个重要特征就是具体实现完全透明。在虚拟化技术对存储资源进行整合之后对于上层系统而言应该呈现出一个完整的、唯一的存储资源池。存储资源池具有统一化、灵活性、可再分割、再调整的
15、功能属性，而且这部分功能属性的具体实现是完全屏蔽在虚拟化系统内部的，不需要再有其他系统或者操作者进行干预。使用者所见到的仅仅是一个超大的存储资源池，他可以根据具体业务存储的需要从存储资源池中取出一部分空间用于某些视频数据的存储。使用者无需关心视频数据究竟是存放在云存储系统中的哪台存储主机的哪个磁盘上，具体的存储空间分配由虚拟化系统执行完成。同时使用者也不必担心数据的安全性问题，因为当用户改变存储策略、调整空间大小时虚拟化技术会自行对数据进行备份、迁移、覆盖。所有这些具体的执行对使用者都是透明的，使用者的精力可以完10全集中在对自身业务的管理上来。（三） 、集群化技术集群化技术是除了虚拟化技术以
16、外衡量云存储系统成熟度的另一个重要标志。在讨论云存储系统架构的时候我们探讨了系统采用松耦合非对称架构的必要性，在系统中衍生出元数据管理节点的同时，我们对其可靠性、稳定性、以及性能的要求随着云存储系统的不断膨胀也越来越高。单一节点或者双机 HA模式在中小型的安防监控项目中还可以勉强胜任，一旦系统规模扩大其元数据管理节点的压力就会不断加强，其性能瓶颈直接会导致云存储系统可用度降低，甚至影响云存储系统的正常运行。集群化技术在云存储系统中的应用将能够很好的解决这些问题。元数据管理集群改变过去单兵作战的方式，采用成建制的集团军协同作战将各个元数据管理节点的系统性能形成合力共同为云存储服务。创建元数据管理
17、集群需要专门开发用于集群组件的软件，集群软件的作用就是维持各个节点间的通信顺畅，并按照负责均衡的原则将大量待处理业务信息分派给具体的元数据管理节点来执行。多台元数据管理节点通过集群软件保持高度的统一性和可协调性，管理信息和监控信息数据在各个节点间的分布式数据库间同步，所有节点都具有独立完成业务处理工作的能力并保持集群的 ALL ACTIVE 的状态。这样云存储系统的处理性能将不再受单一节点限制，当云存储需要扩容和提升系统性能时可以继续增加集群的元数据管理节点数目，以保持业务性能的线性增长。集群化技术的另一个优势就是提供了更高的可靠性。传统HA 热备的双机模式为了提高可靠性实际是以一台服务器的资
18、源浪费作为代价的，备机不参与任何业务处理，仅是等待主机故障后替换而已。而集群模式的优势在于集群中所有节点都是可以参与业务处理工作的，其中的一台或者几台服务器节点出现故障，集群软件可以很快发现问题并协调集群中的其它仍然运行良好的服务器节点接替故障机的工作，集群软件而言这只不过是简单地进行一次业务负载均衡调整和业务分配而已。集群化的这些优点除了在元数据管理节点群化外，对于数量庞大的存储节点依然适用。因为在云存储系统中资源的调度，业务的分派都是由元数据管理集群完成，存储节点仅需要保证存储业务的具体执行。通过对数据存储业务执行的合理分配，11完全可以做到将过去各自为政的存储节点资源统一进行调配，发挥其
19、最大的效率。同时倘若部分存储节点出现故障，元数据管理集群也能自动将数据存储业务调整到其他运行正常的存储节点上以满足高要求的 N（元数据管理节点）+M（存储节点）集群可靠性。云存储的发展不仅仅需要考虑自身存储业务的需要，更重要的是需要考虑云计算、智能分析对大数据提取的性能需求。因此云存储系统的数据吞吐量就显得尤为重要，传统存储方案中某路视频流存储时基本是以存储设备为单位，那么在数据从单一的存储设备上提取时就是一个串行的过程，当提取量增大整个过程耗时就会非常严重。云存储系统就必须改变这一模式，现在较为先进的做法是存储时尽可能将某路视频数据到分散不同的存储设备上，而当需要提取数据时多台存储设备并发推
20、送数据以形成系统级的高并发吞吐量。数据的分散粒度越大，提取时的速度就可能越快，然而如果分散过于凌乱则对数据的管理又增加了额外的系统开销。因而对分散的控制就显得格外重要，海康威视云存储系统的做法是在元数据管理集群中内嵌高效的数据存储任务分派离散算法，通过算法对当前云存储系统资源进行实时调度，做到最合理的分散存储，既兼顾管理的高效性同时又保证了系统级的并发读取速率，因此离散存储无疑是一种最为合理的方式。云存储在安防行业创新和发展六、安防行业存储的发展趋势今年来安防行业不断向着 IT 化、应用化、智能化的模式深入发展，全国大力兴建城市级的安防监控和深化应用平台。在安防领域已经不仅仅停留在简单的监控、
21、存储阶段，云安防的理念迎合了目前对于安防信息内容的重视，而云计算、云存储则是实现内容为王，智能分析的基础。技术的发展离不开行业的应用需求，云存储在安防行业的创新也要紧贴着安防行业的特点来完成。云存储技术的发展如果不紧贴安防行业的特点，不顾及视频数据与文件数据的本质区别，简单将用于文件存储的云存储系统移植到安防监控领域中将会严重影响到云安防的整体性能。安防行业最重要的数据形式就是视频流数据，流式12数据与文件数据有着很大的差别，那么对流式数据的存储上就迫切需要一种适合视频流高速存储、查询、读取的技术。提高云存储性能的方法很多，包括前文提高的虚拟化、集群化、离散存储与并发提取外，流式文件系统的出现
22、就是一种对云存储行业化的典型创新和探索。云计算是云安防的灵魂，而云存储则是云计算最大的支撑。云存储的发展也必须贴与云计算在安防监控领域的应用紧密配合。在云计算中除了谈论云计算的架构、典型技术等等，其满足应用需求时采用的不同策略也是非常值得关注的，例如云计算的前分析、实时分析、后分析等等。对于这些分析模式，云存储提供的基础数据起着非常重要的作用，最优化的一种方式就是云存储对数据存储的基础数据单元与云计算处理时调用的基础数据单元在格式、大小、标准上保持一致。这样做优势不言而喻，就是减少云计算的复杂度和对系统资源的消耗。作为云存储在安防监控行业应用的本身而言，针对例如视频、图片、附属信息的一些基本功
23、能将常用的应用内嵌在云存储系统内部也是提高安防云应用效率的一个非常有效的方式。在云存储系统内开发类如：视频录像、查询、回放、锁定、删除、覆盖等功能，将这些功能封装在软件模块中以 API 接口的方式提供给上层调用平台，如云计算系统或者行业应用平台等。将带有行业属性的应用与简单的存储、查询、读取等基本功能结合，同时也可以深化视频应用的开发，例如提供 I 帧回放等功能。这些深入的开发将云存储系统在安防行业的优势得到最大的体现，也是目前云存储在安防行业创新和发展的必然趋势。在安防市场中对云存储需求最为迫切，也最可能率先采用云存储技术运用于自身系统的就是公安行业。随着经济建设和各项社会事业等快速发展，城
24、市的公共安全面临着更大的挑战。全国跨地区、跨部门、跨警种的信息共享，建立城市报警与监控系统的协同使用机制、强化视频监控技术在公安侦查破案中的支柱性作用，不断提高系统的管、控、用整体水平，因此“大公安”的概念以被人们所接收。在“大公安”系统中多以高清视频采集为手段，集智能分析技术，综合城市治安、治安卡口（高清） 、社会监控资源，实现各类监控资源的共享，提高资源利用率。在这种建设目标下，云存储的优点能够非常有利地支撑起海量高清视频存储、以及大数据智能分析对数据处理需求和高并发、大吞吐的需要，云存储作为整体行业解决方案13的一部分将是其中不可或缺的一环。随着云存储技术的不断发展和完善，在云存储为安防
25、行业定制开发的思想指导下，云安防这一看似朦胧、飘渺的构想将逐渐丰满、现实。想必在科技日新月异的今天，我们很快就能感受到云存储给整个安防行业带来的蓬勃生机。七、海康存储配置方案（一） 、CVR 配置1.设备网口 IP 及登陆页面(1)管理口 IP：10.254.254.254 子网掩码：255.255.255.0(2)登陆管理页面方式：通过管理口连接笔记本(3)登陆管理页面地址：https:/10.254.254.254:2004(4)默认用户名：web_admin 默认密码：123(或者首次登陆会让你设置，需要字母大小写，数字等 3 种组合)2.登录存储进去之后，存储管理，磁盘管理，新盘会显示
26、状态为未认证，勾选所有磁盘，点击检测，快速检测，大概需要 10到 15 分钟 ，检测完的盘会显示正常，属组为空闲（1）磁盘的 5 种状态未认证：凡是首次加入存储系统中的磁盘均显示为“未认证” ，只有通过磁盘检测方可使用。14丢失：拔掉磁盘，状态显示“丢失” ，重新扫描后会彻底消失。 坏盘：磁盘被损坏，磁盘检测后，状态显示“坏盘” 正常：属于好盘，可以被用来使用。 警告： 可以被使用，但是建议客户更换。3.点击阵列管理，阵列创建（1）填写阵列名称（不要写中文名字，用英文或数字如 raid5或者 123）（2）选择阵列类型（绝大多数情况下是 RAID5）（3）选择可用磁盘（如果看不到盘，也看不到可
27、选用磁盘几个字样的话，将浏览器调至兼容模式，若可以看到则找接口人获取开放磁盘升级包）（4）创建阵列（5）其他默认即可4.对于多少块盘做一个阵列，我们有一个默认的规矩。（1）新设备（就是如图这种操作界面的）默认最多 12 块硬盘组成一个阵列。（2）16 盘位的存储使用 7+8+1 方式，即 7 块硬盘做一个阵列，另 8 块硬盘做个阵列，一块硬盘作为全局热备盘。（3）同理 24 盘位的使用 11+12+1（2 个阵列 1 个热备盘）或11+1+11+1（2 个阵列 2 个热备盘）方式，48 盘位的使用11+11+12+11+1+1+1（4 个阵列，3 个热备盘）或11+11+11+11+1+1+1
28、+1（4 个阵列，4 个热备盘）热备盘添加方法无扩展柜的话都为全局热备盘155.存储池管理16全选阵列，点确定，将阵列添加到添加存储池即可6.添加逻辑卷一般需要配置 2 个 60G 的私有卷和 2 个 60G 的预留卷，私有卷不能从第一个阵列做出来，且私有卷和预留卷不能从同一个阵列做出来，举例示范：配置 DS-AA71024R 存储，做了 2 个阵列，17r1 和 r2，2 个私有卷得从 r2 中做出来为 syj1，syj2 各为60G，2 个预留卷从 r1 中做出来为 ylj1，ylj2 各为 60G，其他空间全部分配给逻辑卷，逻辑卷最大为 8T，阵列中剩余空间不足 8T 的，有多少写多少，
29、命名一般默认为 lun1，lun2，lun3等（若只有 1 个阵列的话，则配置预留卷）7.点击 CVR 管理，右上角点击配置 CVR，配置私有卷，选中左边的 syj1，点击私有卷 1，选中左边的 syj2，点击私有卷 2，点击确定，提示成功后，能看到左上角 CVR 服务为运行中状态（一个私有卷配备一个预留卷）188. 点击右上角配置 CVR，创建录像卷，填写录像卷名，一般为lxj，参数默认为视频存储、循环覆盖，可用 LUN，一般全选，点击确定9.点击系统配置，网络配置，可修改 CVR 数据口 ip以上操作之后，存储中 CVR 的配置已完成。（二） 、存储 putty 常用命令Putty 是进入
30、存储底层常用到的工具，可以用来查看存储和磁盘的工作状态，以下是 putty 的简易使用说明1. 登陆界面如下如，按图填写好 ip 和端口即可连接19202.登陆存储可使用不同账户登录，其中 root 账户权限最高，root 密码需要将存储序列号发给对应总部存储接口人获取，web_admin 则为2004 页面的登陆用户，密码为 2004 页面登陆密码，下图为登陆界面（注：putty 输入密码时是不显示的，输入完回车即可，若使用 root 登陆直接将 root 密码复制粘贴进去即可，putty 中粘贴为鼠标右键）213.Putty 一些常用指令：do_passwd del 存储密码清除指令，在用户忘记存储密码时可用 root 权限进入存储底层重置密码并设置新的密码iostat -xd 3查看磁盘读写状态，最后一列若为 99-100，代表异常22report_disk_info查看磁盘信息，联动上一条使用，当找到异常磁盘对应磁盘名称后，用此命令可找到对应盘号cat /b_iscsi/nvr/config/nvruser 该命令需 root 权限才能使用，可查看底层 cvr 子系统密码为多少，是否丢失，如下图，admin 为用户，Abc123+为密码，未丢失
