1、类 Unix 系统服务器文件夹磁盘空间监视及自动维护软件的研制 李挺 邓科 张焕青 蔡昂 冯凝 刘晓华 李炜 洪叶 国网湖北省电力公司检修公司 摘 要： “文件夹磁盘空间满”问题对类 Unix 系统服务器运行造成严重危害, 处理难度大且不易察觉。对其原因进行分析, 采用操作系统底层配置、过滤拦截手段及手动清理方法, 实现了类 Unix 系统服务器文件夹磁盘空间监视及自动维护技术, 着重分析了该技术的实现原理, 并在此基础上进行了开发实现。该软件实现了“文件夹空间监视及告警”、“历史垃圾文件智能识别与自动清理”、“人为写入操作范围限制”、“重要软件运行事件可靠记录”等功能。经过工程实践表明:该软
2、件各项功能运行稳定, 大幅减小了其问题发生机率及处理难度。关键词： 磁盘空间; 权限管理; 清理; 文件夹; 作者简介：李挺 (1982) , 男, 湖北武汉人, 硕士研究生, 主要从事电力系统继电保护及自动化方面的研究, E-mail:。收稿日期：2017-07-17基金：国家电网公司科技项目 (52152016000Q) Development of Disk Space Monitoring and Automatic Maintenance Software for Unix-Like Server FolderLI Ting DEND Ke ZHANG Huanqing CAI An
3、g FENG Ning LIU Xiaohua LI Wei HONG Ye State Grid Hubei Corporation Maintenance Company; Abstract： “Folder disk space full”problem causes serious harm on the Unix-like operating system server running, and it is difficult to handle and not easy to detect. This paper analyzes its causes, based on the
4、underlying configuration of operating system, filtering interception method and manual cleaning method realize Unix-like system server folder disk space monitoring and automatic maintenance technology. The realization principle of the technology is analyzed emphatically, and the development and real
5、ization are realized. This software has realized to “folder space monitoring andalarm”, “intelligent recognition and automatic cleaning of historical garbage files”, “artificially written operation limits”, “important software running event reliable records”and other functions. The engineering pract
6、ice shows that the function of the software is stable, which greatly reduces the probability of the problem and the difficulty of processing.Keyword： disk space; authority management; clean; folder; Received： 2017-07-17类 Unix 系统 (Solaris Unix 及 Linux 操作系统等) 服务器“文件夹磁盘空间满”会造成“系统频繁死机”、“应用程序运行不稳定及功能退出”1
7、等危害。由于缺乏人为写入操作的限制手段, 及系统操作复杂、缺乏智能软件工具等因素, “文件夹磁盘空间满”现象时有发生, 磁盘清理工作难度大, 常出现删除不完全及错删文件现象, 造成系统崩溃及应用程序损坏等严重后果2。本文对其原因进行详细分析, 研制了一套文件夹磁盘空间监视及自动维护的软件, 通过“文件夹写入权限管理”、“文件夹空间监视”、“历史垃圾文件识别与清理”、“事件记录管理”、“防止软件非常态退出”五大功能模块, 分别解决“人为存放文件混乱造成重要文件夹磁盘空间满”、“指令操作复杂造成磁盘空间状态难以监视”、“文件类型多样性及路径复杂性造成历史垃圾文件删除难度大”等运维问题。同时, 对“
8、配置修改事件”和“历史垃圾清理事件”及“通讯状态检测与告警事件”进行可靠地管理保存, 做到有据可查。针对“软件非常态退出”情况提供了多项措施, 以增强软件运行可靠性。另外, 对“软件安装与设置工作”进行了危险点分析, 制定了相关安全措施。1 原因分析根据长期运维经验分析, 导致磁盘空间满的原因主要分为如下几点:1) 文件类型多样性及路径复杂性造成历史垃圾文件删除难度大服务器正常运行中会产生多种历史垃圾文件, 分为文本文件和数据库文件3两大类:(1) 以文本文件形式存在通常采用手动输入复杂指令操作, 根据多个不同文件路径下文件的“特殊文件格式”及“最后修改时间”进行删除。(2) 以数据库文件形式
9、存在采用相关的数据库管理工具进入数据库, 根据数据库中的“特定表名中的时间特征”或“特定表中数据的生成时间”进行文件删除。2) 人为存放文件混乱造成重要文件夹磁盘空间满维护人员在操作过程中将备份资料、调试软件等文件以手动复制/移动、压缩/解压缩、FTP、SFTP 数据传输工具的方式任意存放于重要文件夹里, 导致其磁盘空间满, 从而造成服务器故障4。3) 根目录文件夹空间容量分配不当在安装操作系统时, 对相关重要文件夹 (如操作系统文件夹、重要程序的历史数据文件夹等) 空间分配过小, 造成系统运行无缓存空间5, 导致服务器“历史数据不刷新”或“频繁重启”等严重故障。4) 指令操作复杂造成磁盘空间
10、状态难以监视由于类 Unix 操作系统相对于 Windows 系统界面不够友好, 仅依靠手动输入复杂指令的方式进行文件磁盘空间查询, 无实时自动监视手段, 导致重要文件夹磁盘空间状态无法得到及时有效的监视6, 难以满足运维需求。2 软件设计方案针对类 Unix 系统服务器“磁盘空间满”的问题, 研制文件夹综合管理及维护系统, 在解决文件夹维护工作中诸多难点的同时, 对软件的便捷性及兼容性也提供了功能支持。2.1 文件夹写入权限管理模块在满足日常维护需求 (应用程序升级、文件备份、数据库更新、应用程序与操作系统的数据交换) 的前提下, 通过对“手动移动文件夹”的操作范围及途径进行权限设定, 避免
11、人为存放文件混乱而导致相关重要“文件夹磁盘空间满”现象。2.1.1“手动复制/移动操作”、“压缩/解压缩操作”、“SSH 数据传输操作”集中权限设置摒弃了“在操作系统中设置写入权限”的方法 (该权限范围过大, 会在限制手动移动文件夹操作的同时, 限制应用程序运行过程中与非权限文件夹之间的正常数据交换) 。采用“拦截过滤”的方式, 通过一个程序来集中完成对文件“手动复制/移动操作” (调用 CP/MV 命令) 、“压缩/解压缩操作” (调用tar、zip、rar、unzip、unrar 命令) 、“SSH 数据传输操作” (调用 CP/MV 命令) 的文件移动路径范围进行权限限制。具体流程如图
12、1 所示。图 1 集中权限管理流程 下载原图装入 cp (mv、tar、unzip、unrar) 操作:先将原 cp (mv、tar、unzip、unrar) 重命名为 mycp (my mv、tar、unzip、unrar) , 然后按原命令执行路径进行包装。权限识别操作:先读取该用户保存的设置, 然后判断目标路径是否在允许范围之内。2.1.2 设置限制文件“FTP 数据传输路径”权限在日常维护中 FTP 工具也是文件移动途径之一。通过在操作系统中“修改 FTP服务器配置”的方式, 实现对“文件 FTP 数据传输范围”进行限制, 使 FTP 工具只能在指定文件夹中进行复制/移动文件操作。具体
13、流程如图 2 所示。图 2 FTP 路径权限管理流程 下载原图2.2 文件夹空间监视模块本模块调用“dush”命令, 同时对多个文件夹磁盘空间进行监视及阈值告警, 其文件夹的路径及告警阈值均可进行选项设置。另外, 以一定时间间隔运行检查程序, 自动读取设置, 并比对预设值 (监视目标路径是否达到最大值) 。具体流程如图 3 所示。图 3 文件夹空间监视流程 下载原图图 3 中的 core 为核心处理模块, 对设置路径的空间使用情况与预设值进行对比。2.3 历史垃圾文件综合识别与清理模块历史垃圾文件主要是指:1 年前的部分历史数据库文件、录波文件、操作系统运行中产生的 tmp 临时文件、程序异常
14、产生的 core 文件、日常运行中产生的操作系统 log 日志文件及应用程序产生的程序 log 日志文件。按文件类型分为文本文件及数据库文件两大类。通过对需清理的文件特征及路径进行分别设定, 然后根据不同文件类型 (文本文件、Oracle 数据库文件或 MYSQL 数据库文件) 集成相应删除功能, 实现对相关文件进行一键式删除。2.3.1 文本文件删除功能集成文本文件删除指令对文件夹路径及文件特征 (特殊的文件后缀, 可添加设置) 进行选项设置组合, 根据文件的后缀名来判断文件的类型, 根据文件的最后修改时间进行删除选项设置。2.3.2 数据库文件删除功能采用调用数据库函数 (包含 Oracl
15、e 及 MYSQL 等数据库) , 删除数据库数据的方式。调用数据库函数 (可根据相应的数据库类型进行设置) , 输入需清理数据的服务器 IP 地址 (可设置) , 用户名及密码 (可设置) , 输入路径 (数据库名及表名, 可设置) , 该组合选项中还应根据文件的时间进行删除选项设置, 其中数据库历史文件的结构分为 2 种: (1) 在特定表中, 以数据的方式存在 (执行在表中删数据操作) , 可在表中利用数据库固有的功能对历史数据进行时间检索7; (2) 在特定库文件中, 以表的方式存在 (执行在库中删表的操作) , 该历史表的文件名带具体时标, 如 201707, 其中带时标的表可以删,
16、 不带时标的表都不能删除。删除数据的时间选项按如下要求:该软件清理数据功能选项设置, 且清除 X 年前 (可设置, 其中如果清理所有数据, 按 0 年进行设置) 数据的功能, 每个删除项目均可进行不同的时间删除设置, 实现对各删除对象设定名字。具体流程如图 4 所示。图 4 文件综合识别与清理流程 下载原图2.4 事件记录管理模块该模块将“配置修改事件”和“历史垃圾清理事件”及“通讯状态检测与告警事件”进行集中信息采集。2.4.1 配置修改事件管理为防止人为修改已设定好的软件功能设置信息, 该软件具有配置文件修改的事件记录功能及权限密码, 且有友好选项界面方便查询。当该文件由于修改设置文件造成
17、服务器故障, 则可根据事件报告进行“追责管理”。2.4.2 历史垃圾清理事件管理将该软件中的历史垃圾清理模块中的文件删除时间、大小、路径及文件名, 生成事件记录进行收集。2.4.3 事件数据集中管理设定 2 个事件主站服务器, 建立事件信息集中管理系统, 如图 5 所示。图 5 事件信息集中管理系统图 下载原图在需要安装该软件的同一网络连接的各服务器中, 选择 2 台作为事件主站服务器, 其他作为子站服务器。2 台事件主站服务器通过增加 IP 地址 (每个 IP 地址可以定义一个机器名称) 的方式, 将各子站的事件数据进行收集, 一旦子站服务器和事件主站服务器有事件记录信息生成时, 立即上传到
18、安装同样软件的2 个主站事件服务器的专用事件记录中存贮, 以防止本机故障、重装系统, 造成本机软件上的事件信息记录丢失, 以实现重要“事件信息记录”的双重保险 (一个存于本机, 其他存于 2 台事件服务器) 。2 台事件服务器的事件记录 (一个存于本机, 1 个存于另一台事件服务器) 。2.4.4 通讯状态检测与告警事件管理。如图 5 所示, 事件主站服务器 1 及事件主站服务器 2, 每隔 1 天检测一次与各子站服务器与事件主站服务器 1 及事件主站服务器 2 之间的网络通讯状态。当网络通讯状态异常时, 发出告警信号, 同时生成通讯异常告警信息记录 (标明网络中断服务器的名称及网络地址及中断
19、时间) ;当网络通讯状态恢复正常后, 将告警信号复归, 且同时生成“通讯恢复”信息记录 (标明网络恢复服务器的名称及网络地址及恢复时间) 。2.5“防止软件非常态退出”管理模块由于该软件的“限制文件夹手动移动操作”及“限制文件夹压缩及解压缩操作”均采用程序过滤拦截的方式实现, 这样就需要该软件实时运行方可生效。因此, 需采取以下 3 种措施, 以防止在“开机不启动该软件”及“操作前软件退出”和“卸载该软件”情况下, 该软件功能无法生效8。3 种措施分别如下:1) 软件开机自启动方式自动设置在不影响服务器现有应用程序运行的情况下, 在当前服务器用户 (非超级用户) 下9, 实现当该软件启动时,
20、对该软件自动进行开机自启动设置。2) 软件退出专用密码针对“将该软件退出操作”, 设置专用密码, 对该操作进行管控。3) 增加本软件卸载难度为防止该软件被人为卸载, 增加该软件的卸载难度10。采取如下措施:(1) 删除该软件的专用卸载文件;(2) 删除该软件安装过程记录的日志文件;(3) 对该软件的安装文件夹设置专用访问账号及密码。3 软件宏观功能该软件设置总体权限账户管理, 修改设置事件记录管理, 手动及自动启动功能方式管理, 文件设定格式分类提示, 并满足不同操作系统的兼容性需求。该软件的设计根据不同的事项, 按需求设置不同与之匹配复杂条件组合, 从而实现事项目的。3.1 总体权限账户管理
21、该软件在进行路径、文件特征、网络地址、用户名、数据库等设置前, 应进行该软件的用户名和密码认证, 方可进入“设置修改界面”。3.2 手动及自动启动方式管理该软件清理数据功能设置, 每隔 X 年 (可设置) 自动启动各数据清理项 (之前分模块已设置) 1 次数据的功能, 也应有手动立即启动各数据清理项 (之前分模块已设置) 1 次数据的功能。3.3 文件格式分类提示各可设置的选项前有可点击的帮助选项, 对设置要求进行说明, 确保设置项格式的正确性, 一旦设置错误, 会造成无法保存, 并跳出“设置错误窗口”, 说明配置错误的具体选项错在哪。3.4 不同操作系统间的兼容性该软件兼容 solaris
22、unix 和 linux (麒麟, 小红帽 5.6、5.8, 凝思磐石等) 操作系统。4 结束语本文所研制的软件已在湖北电网 500 k V 咸宁变电站进行挂网运行试验。根据实际运行发现:该软件能自动删除各类历史垃圾文件, 能有效防止人为混乱存放操作现象, 实现空间监视与预警等功能, 且能做到记录有据可查。该软件不仅适用于电力行业, 同样适用于其他多个行业, 为类 Unix 系统服务器的文件夹维护与管理工作开辟了一条高效的新途径。参考文献1邓先友, 吕涛, 曹继丰.500 k V 变电站监控系统升级改造分析J.云南电力技术, 2009, 37 (6) :87-88. 2陈萍, 黄冰, 周晓阳.
23、超高压变电站监控系统J.电力自动化设备, 2007, 27 (7) :116-118. 3傅蕾, 胡敏强.变电站监控软件系统中内存数据库的研究J.电力自动化设备, 2002, 22 (10) :21-23. 4王汇, 严利雄, 汤弋.变电站监控系统故障分析及管理方案探讨J.湖北电力, 2010, 34 (5) :10-12. 5樊陈, 倪益民, 窦仁晖, 等.智能变电站一体化监控系统有关规范解读J.电力系统自动化, 2012, 36 (19) :1-5. 6陆剑云, 苏和, 张云飞.500 k V 某变电站监控系统改造实例分析J.华东电力, 2014, 42 (12) :2655-2658. 7贺俊杰, 赵淑, 郑宝庆, 等.500 k V 变电站监控系统改造问题探析J.中国电力, 2009, 42 (5) :57-59. 8吕赢想, 刘毅, 刘乃杰.500 k V 双龙变电站监控系统的升级改造J.浙江电力, 2012, 31 (2) :13-15. 9陈伍军, 丁剑, 曾庆凯.基于 unix 系统的不确定数据库解决方案J.计算机工程与应用, 2004, 40 (2) :186-189. 10史巧硕, 范东月, 柴欣, 等.嵌入式 Linux 根文件系统的构建与分析J.计算机测量与控制, 2015, 23 (2) :656-659.
