1、 故障响应机制北京傻+逼信息技术有限公司2014 年 12 月目 录1 引言 11.1 编写目的 .11.2 适用范围 .12 故障 22.1 故障分类 .22.2 故障响应时间表 .43 故障定级 53.1 故障累积升级 .53.2 处理能力不足 .53.3 客户关注程度 .53.4 客户反馈故障升级 .63.5 客户监控出现的问题 .63.6 故障定级矩阵 .74 现场人员注意事项 85 故障响应人员 96 处理流程 106.1 一级故障 .106.2 二级故障 .116.3 三级故障 .136.4 四级故障 .147 事后总结 161 引言1.1 编写目的由于生产环境中经常会出现各种故障
2、，一般通过两种途径：公司方人员发现、银行方人员告知。现场人员会发现问题不知道如何解决，也不知道该通知谁解决，经常会出现处理延误、沟通不畅等问题，导致客户满意度下降，客户信任度下降。另外现场人员要加强自身的沟通能力，第一要安抚客户、告知客户公司已经进行处理，第二要能简明扼要的说明现场情况、客户关注程度、问题导致结果等。本文档旨在提供一个规范化的流程，让现场人员做到有章可循，针对不同的故障级别找到响应的处理人员。从故障处理上，不仅可以体现公司的专业性，也能提高客户满意度。1.2 适用范围项目组的所有人员需要了解，在故障出现的时候能第一时间进行处理。领导组需要进行了解，知道各种级别的领导需要沟通。2
3、 故障2.1 故障分类故障按照产生的后果进行分类，共分为四类。故障等级 故障说明 响应时间 处理时间一级 一级故障：客户端无法使用，影响用户正常使用。当系统出现下列相当严重的现象时，属一级故障： 系统后台服务器整体瘫痪，全部操作失去响应； 客户端（安卓、iPhone、iPad 等仅一种出现）崩溃、无法进入用户界面； 发生间歇性、随机性、重复性的启动或应用退出，无法保障客户业务的正常处理。 两个二级故障及以上，升级为一级故障2 小时 1 天二级 二级故障：客户端整体可以使用，部分出现问题，影响用户的部分业务处理。当系统出现下列比较严重的现象时，属二级故障： 系统后台出现了部分问题，导致用户使用出
4、现问题；3 小时 2 天 客户端（安卓、iPhone、iPad 等仅一种出现）部分功能失效，影响用户使用； 系统整体性能严重下降，无法自动恢复正常运行状态； 重要数据、参数和配置信息损坏，无法恢复，导致客户数据及业务记录严重损失； 三个三级故障及以上，升级为二级故障三级 三级故障：客户端可以使用，出现的问题对用户的业务处理影响不大。当系统出现下列现象时，属三级故障： 服务器端软件或者硬件出现异常，局部功能受限，系统整体仍可正常工作，对客户业务影响不大或存在隐患； 关键备用设施因故障离线，主用设施仍能正常工作； 后台日志发现有系统出现问题的趋势，或者已经出现了交易成功率下降 客户端性能小幅下降，
5、但不影响使用； 系统运行指标（例如： I/O 效率、 CPU 效率）受到直接或间接影响，客户业务处理受小量影响； 五个四级及以上，升级为三级故障6 小时 3 天四级 四级故障：客户端可以使用，不影响业务处理当系统出现下列情况而不影响客户业务时，属四级故障： 客户端界面出现显示问题，如 ui 不符合设计； 后台系统中有大量的冗余信息，导致空间不足； 系统硬件或者软件没有及时升级，不符合安全策略等等 12 小时 5 天故障响应时间表故障等级 通知公司响应人员 作出解决方案 赶到现场 解决时间一级 15 分钟 2 小时 8 小时 24 小时二级 30 分钟 3 小时 12 小时 48 小时三级 60
6、 分钟 6 小时24 小时或无需到现场72 小时四级 90 分钟 12 小时 无需到现场 120 小时3 故障定级3.1 故障累积升级按照不同的故障分类需要进行相应的处理，但是有时问题会重复出现或者同类问题出现了多个，进行故障升级。例如：开发人员发现了一个 ui 问题，这是一个四级故障，他应该通知他的组长进行统筹处理，在该组长进行处理时发现了十个类似的问题，这个问题直接升级到三级故障，由该组长负责向项目经理通知，并进行全面查找问题，进行统一解决，做到故障的全部解决。 四级故障数 = 5，升级为三级故障 三级故障数 = 3，升级为四级故障 二级故障数 = 2，升级为二级故障3.2 处理能力不足现
7、场人员如果在接到处理命令后，在两个小时内确认自己无能力处理该故障，那么要求责任人将故障升级，联系更高级别人员，进行统筹工作。如：发现一个后台日志异常，有明显变坏的趋势，且银行方已经发现了交易量有少量下降，这应该是一个三级故障，在内部响应后项目经理和高级开发人员进行了处理，但是找不到问题所在，那么直接上升故障等级，通知领导协调更高级的技术人员进行处理。3.3 客户关注程度客户的关注程度较高时，故障等级应做升级，如果现场人员不能确定客户是否关注程度比较高，可以通过以下几点进行判断： 客户语气焦急，明显有些不耐烦，明令快速解决 客户话语中透露出某某领导派他过来问，或者某某领导等着看，等等 客户表明因
8、为这个系统的问题，导致其他系统无法正常运作 客户已经直接联系领导反映情况（这是非常糟糕的情况，3.4 中会有说明）如果还不能判断出客户的关注程度，那么直接打电话给项目经理，如果项目经理也不能判断出客户关注程度，则按照客户关注程度一般处理。客户关注程度高时，故障+1 级（如原故障二级， +1 后变一级） ，已经是一级的无法再升级。关注程度一般时，不做故障升级。客户反馈故障升级如客户遇到了故障，没有通知现场人员或者项目负责人员。而是直接联系了部门领导或者公司领导，那么故障响应要做相应升级。如果故障是用户发现的，故障一般都在三级以上，那么按照用户的响应级别进行故障定级。例如：如果反馈用户是银行总经理
9、级别的，即使是三级故障，也要按照一级故障进行响应。原则上是找到公司与用户级别对等的领导，该领导在响应机制的哪个级别，故障就升级到哪个级别。 银行总经理对应公司总经理，定为一级故障 银行科技（信息）部经理对应公司交付中心总经理，定为一级故障 银行科长级别对应公司交付中心总监，定为二级故障如果客户反馈的故障，按照故障标准认定的等级大于用户反馈认定的故障大于，那么以故障标准认定为准。3.5 客户监控出现的问题银行都有一些监控体系，可以从中查看到各种异常情况，这些异常情况可能是已经出现了问题的，也可能是即将出现问题，这些一般都是由技术人员解决。此类问题一般按照二级故障处理，如果客户关注程度较高，则需要
10、公司相应人员进行沟通，如果客户关注度不高，直接协调技术人员解决。解决后，须告知银行相关负责人。3.6 故障定级矩阵颜色说明一级 二级 三级 四级故障现象 按照标准客户关注度一般客户关注度高行方科长反馈问题行方信息部经理反馈问题行方总经理反馈问题故障积累（按照 3.1所述）处理能力不足公司内部重视程度高无法使用 一级 一级 一级 一级 一级 一级 一级 一级 一级部分无法使用二级 二级 一级 二级 一级 一级 一级 一级 一级小部分无法使用三级 三级 二级 二级 一级 一级 二级 二级 二级不影响使用 四级 四级 三级 二级 一级 一级 三级 三级 三级4 现场人员注意事项 遵守银行现场的各项制
11、度管理规范，维护公司声誉和形象，不允许有损公司声誉形象的事情发生。 重视自身的沟通，日常工作中不要抱怨，不说一些可能会伤害客户的话，这样可能让用户积累一些怨气，在出现问题时候一并爆发。做到在现场的人员工作期间少说些与工作无关的事情 在问题出现的时候，现场人员放下手头的原有工作（指原定的任务，与本次故障无关的任务） ，全心的投入的故障处理工作中。第一，做好沟通协调员，将现有问题向上汇报。第二，从容不迫应对，安抚客户心情，告知公司已经处理（人员已经在路上等等） 。第三，积极配合客户，做好现场工作。第四，小心谨慎，不要手忙脚乱，此时不能再犯错误。 技术人员提高技术能力，多了解公司的框架、操作系统和一
12、些日常使用的中间件，不要因为自己的粗心大意，导致系统瘫痪。做到修改前先备份。修改后先检查，备份保留而不删除。 重视质量意识，加强代码自查，按照流程规范行事，从自身减少隐患 现场人员要留有各个内部联系人的电话，邮箱，必要时可以贴在工位上，不要出现问题再去找人问电话号码 明确自己的职责，了解其他人员（特别是领导）的职务和职责，了解每级别的责任人和联系人5 故障响应人员按照华北交付中心的组织架构一级故障对银行响应人员：交付中心总（副总）经理，责任人项目经理二级故障对银行响应人员：交付中心总监，责任人：项目经理三级故障对银行响应人员、责任人：项目经理四级故障对银行响应人员：项目经理，责任人：项目组长（
13、项目经理）6 处理流程6.1 一级故障一级故障是最高级别的故障，要求在我方的第一发现人在五分钟内告知项目经理，在故障发生的 15 分钟以内联系到交付中心对应响应人员（交付中心总经理） 。在故障发生的 15 分钟内进行故障的现象及后果等的描述，之后交由领导统一指挥。在两个小时内对问题作出相应的处理方案，以最快速度组织人员到现场处理工作。要求技术总监、项目经理、技术专家、硬件系统专家在故障发生的 8小时内赶到现场。如人员无法到齐，可派同等级别人员替换。领导无法到场，可以电话指挥。如现场问题严重，可要求公司副总与银行方领导进行沟通协调。一级故障要在 24 小时之内解决，避免银行方受到更大的损失。一级
14、故障处理流程项目经理 交付中心领导 公司职能领导一线员工发现问题或者客户反映问题确定问题级别 复核问题级别组织去现场工作人员并告知银行方电话及邮件向上反映问题在十五分钟内反映问题告知银行方我方已经进入故障响应流程组织现场处理人员上级领导协调对银行方造成重大后果 ， 或者银行方事态不能控制人员基本包括 ： 总监 、 项目经理 、 技术经理 、 硬件或系统专家 、 软件专家人员赴现场处理总结问题八小时内人员到齐电话指挥或到现场指挥处理完成现场处理问题看是技术问题还是硬件问题 ， 是否需要提交 b u g ， 总结成果 。 必要的话可以全员培训 ， 避免在发生此类问题2 4 小时内处理完成6.2 二
15、级故障二级故障是比较严重的故障，要求在我方的第一发现人在 10 分钟内告知项目经理，在故障发生的 30 分钟以内联系到交付中心对应响应人员（交付中心总监） 。在故障发生的 30 分钟内进行故障的现象及后果等的描述，之后交由领导统一指挥。在 3 个小时内对问题作出相应的处理方案，以最快速度组织人员到现场处理工作。要求项目经理、技术经理、硬件系统高级工程师、高级软件工程师在故障发生的 12 小时内赶到现场。如人员无法到齐，可派同等级别人员替换。领导无法到场，可以电话指挥。问题如果在两个小时内没有明确结果，故障直接升级为一级。二级故障要在 48 小时之内解决，避免银行方受到更大的损失。二级故障处理流
16、程项目经理 交付中心总监一线员工发现问题或者客户反映问题确定问题级别 复核问题级别组织去现场工作人员并告知银行方电话及邮件向上反映问题在 3 0 分钟内反映问题告知银行方我方已经进入故障响应流程组织现场处理人员人员基本包括 ： 项目经理 、 技术经理 、 硬件或系统高级工程师 、 高级软件工程师人员赴现场处理总结问题1 2 小时内人员到齐电话指挥或到现场指挥处理完成现场处理问题看是技术问题还是硬件问题 ， 是否需要提交 b u g ， 总结成果 。 必要的话可以全员培训 ， 避免在发生此类问题4 8 小时内处理完成6.3 三级故障三级故障是严重的故障，要求在我方的第一发现人在 15 分钟内告知
17、项目经理，在故障发生的 60 分钟以内联系到交付中心对应响应人员（项目经理） 。在故障发生的 60 分钟内进行故障的现象及后果等的描述，之后交由领导统一指挥。在 6 个小时内对问题作出相应的处理方案，确定问题是否需要到现场解决。如果需要去现场则组织人员去现场，不需要的话就在公司内部解决。要求项目经理、技术经理、硬件系统高级工程师、高级软件工程师在故障发生的下一工作日内赶到现场。如人员无法到齐，可派同等级别人员替换。项目经理如果无法到场，可以电话指挥。问题如果在四个小时内没有明确结果，故障直接升级为二级。三级故障要在 72 小时之内解决，避免银行方受到更大的损失。三级故障处理流程项目经理 交付中
18、心领导一线员工发现问题或者客户反映问题确定问题级别 复核问题级别在 6 0 分钟内反映问题人员基本包括 ： 项目经理 、 技术经理 、 硬件或系统高级工程师 、 高级软件工程师总结问题2 4 小时内人员到齐处理完成现场处理问题看是技术问题还是硬件问题 ， 是否需要提交 b u g ， 总结成果 。 必要的话可以全员培训 ， 避免在发生此类问题7 2 小时内处理完成记录汇总 了解项目问题是否需要现场处理否6.4 四级故障四级故障是一般的故障，要求在我方的第一发现人在 30 分钟内告知项目经理，在故障发生的 90 分钟以内联系到交付中心对应响应人员（项目组长） 。在故障发生的 90 分钟内进行故障
19、的现象及后果等的描述，之后交由领导统一指挥。在 12 个小时内对问题作出相应的处理方案，判断四级故障是否需要现场处理。并查找是否还存在类似问题，一并在本次的处理方案中解决。项目经理如果无法到场，可以电话指挥。四级故障要在 120 小时之内解决，避免银行方受到更大的损失。四级故障处理流程交付中心领导项目组长 项目经理一线员工发现问题或者客户反映问题确定问题级别 复核问题级别在 6 0 分钟内反映问题人员基本包括 ： 软件工程师总结问题处理完成现场处理问题看是技术问题还是硬件问题 ， 是否需要提交 b u g ， 总结成果 。 必要的话可以全员培训 ， 避免在发生此类问题1 2 0 小时内处理完成
20、记录汇总 了解项目问题是否需要现场处理是否学习 ， 避免同类问题发生了解项目问题7 事后总结程序在试运行或者运维阶段，经常会出现意想不到的问题，这些问题在有经验的人手中可能很快就会解决，我们不能避免风险的产生，但是我们能尽量将有害风险的影响降到最低。这样我们就需要提高个人的技能水平，对出现的问题多做分享，多学习。故障总结由项目经理进行整理，并填写故障总结单，填写后在项目文档中备案，同时给其他项目组的项目人员转发，避免类似事件发生。8 附件 1 故障总结单单号：项目名称项目经理项目描述故障部分（由项目经理填写）故障等级 一级故障 二级故障 三级故障 四级故障故障后果故障原因故障总结类似项目应注意 （有解决人员填写）故障解决人：填写人： 填写时间：
