1、基于 SSH的电信数据采集与整合序 言本课题采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS” 该系统是一个典型的基于Unix平台、Mysql数据库、Web界面，以Java语言实现的大型软件项目，是为电信运营的IP计费服务的。该系统运行于Tomcat平台,采用JavaEE架构、Struts框架，Hibernate、Spring技术及Mysql数据库，并成功运行于Sun Solaris UNIX及Windows2000环境下。该系统主要分为用户自服务管理模块，管理员管理模块，用户管理等模块，资费模块，帐单和帐务模块以及数据采集与整合模块。本论文主要阐述的是该系统下的两个模块，数据采
2、集与整合。数据采集与整合是整个系统的后台实现，功能是定期采集(采集系统)原始计费日志文件，并将采集的数据封装整合，然后通过 Socket将数据传送到数据采集服务端；中数据采集服务端将数据保存到 Mysql数据库当前时间所对应的 t_daily_x表中，最后周期性进行数据的整合(整合系统)。该课题在设计中要解决的主要问题就是在采集过程中，如何解决数据匹配问题，如何将采集到的有效数据封装成我们需要的结构并输出到网络另一端，由接收端将数据插入到数据库中，如何在数据库中进行周期整合，产生系统所需要的各个表。指导这些问题解决的思想就是文件读写、socket 编程和 UNIX下的作业操作。在设计中主要用到
3、的语言以及技术主要是 Java、jdbc。之所以选择这些语言及技术，一方面是因为在电信运营支撑系统中，安全性有着很关键的作用，安全性直接影响着整个系统的使用，另一方面是在 Java语言中，已经存在对日志文件读取的各种方法，可以很方便的实现采集。考虑到数据采集与整合的这些诸多特点，所以在做该子系统时选择了 Java、jdbc 等语言和技术。第 1章 概述1.1 课题的背景及意义随着网络的不断发展，网络几乎进入了家家户户。查资料需要网络，看新闻需要网络，看电影需要网络，买东西也需要网络，网络给人们带来的方便无处不在，人们需要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段，要想上
4、网就必须向网络运营商申请代理服务器，随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器，让用户随时可以查询自己的信息及使用情况，方便网络运营商管理一系列的复杂事物，以及处理大量的数据，我们设计了本系统。系统只针对电信运营商出租的实验室，即服务器。基于 SSH电信系统是利用 J2EE平台下的 WEB技术设计和运行。通过读取服务器日志文件采集数据然后整和到数据库中,供用户和管理员使用.其中持久层采用封装了 JDBC的 Hibernate框架,数据库采用 Mysql,利用 Struts框架作为控制器,页面显示采用 JSP技术,并且用 Spring框架整合 Hib
5、ernate、Struts,完成企业级应用。1.2 课题内容及目标基于 SSH的电信系统的后台数据服务模块分为数据采集和数据整合模块。数据采集模块负责读取数据服务器日志文件，并进行过滤，将符合要求的数据存入数据库；数据整合端负责将数据库中的原数据按年、月、日进行数据整合，并将整合后的数据存入数据库中。1.3 开发及运行环境基于 SSH的电信系统的后台数据服务模块在开发时采用 C/S 架构，使用Myeclipce6.0 的运行环境；服务器和客户机都采用 Windows XP 操作系统；数据库服务器是 Mysql5.0 ；第 2章 系统分析和设计2.2系统设计思想随着网络的不断发展，网络几乎进入了
6、家家户户。查资料需要网络，看新闻需要网络，看电影需要网络，买东西也需要网络，网络给人们带来的方便无处不在，人们需要使用网络的愿望也越来越大。无法想象人们离开网络会是什么样的。现阶段，要想上网就必须向网络运营商申请代理服务器，随之而产生的问题就是计费和管理问题。另一方面为了让用户更放心的使用网络运营商的代理服务器，让用户随时可以查询自己的信息及使用情况，方便网络运营商管理一系列的复杂事物，以及处理大量的数据，我们设计了本系统。系统只针对电信运营商出租的实验室，即服务器。基于 ssh的电信计费系统是利用 J2EE平台下的 WEB技术设计和运行.通过采集数据然后整和到数据库中,供用户和管理员使用.其
7、中持久层采用封装了 JDBC的Hibernate框架,数据库采用 Oracle,利用 Struts框架作为控制器,页面显示采用 JSP技术,并且用 Spring框架整和 Hibernate、Spring,完成企业级应用。2.2系统功能描述：WEB系统可供用户和管理员查询相关内容。通过登录该系统，用户可以完成查询帐单，修改个人信息，浏览电信运营商提供的各种资费服务。管理员可以完成查询所有用户帐单，修改管理员信息，对用户进行管理（开通，关闭，删除用户帐号） ，对管理员进行管理（开通，关闭，删除管理员帐号） ，修改资费项目，查看电信服务器运行情况。采集模块每小时执行一次，从日志文件中循环读取数据，过
8、滤掉不符合要求的数据，采集符合要求的数据并将数据封装成 bIDR结构发送到中央服务器端。整合模块根据采集到的数据进行整合并插入到各个表中，每小时执行一次。2.3 需求分析： 各模块功能：资费管理：增、删、改、查资费信息(指定价格)管理员管理：增、删、改、查管理员信息用户管理：增、删、改、查用户信息(开通帐号,修改自身信息和需求)帐单查询：按月生成用户月计费帐单帐务查询：按月生成帐务月、年统计报表(对自己业务的查询,对服务器查询,管理)采集模块：定期采集（次/小时）原始计费 Log（wtmpx)文件，整理成 bIDR数据清单，并上传给中心处理系统。中心处理系统（接收系统）侦听并收集采集系统发送的
9、数据信息 bIDR，并将数据保存的数据库表 t_detail_X 。整合模块：按小时合并清单表 t_detail_X生成所有用户计费数据日表 t_day_X;按天合并日表 t_day_X生成所有用户计费数据月表 t_month_X;按月合并月表 t_month_X生成所有用户计费数据年表 t_year_X;按小时合并清单表 t_detail_X生成所有 Lab_IP数据日表 t_day;按天合并日表 t_day生成所有 Lab_ip数据月表 t_month;按月合并月表 t_month生成所有 Lab_ip数据年表 t_year;1、用户管理需求：用户开通管理：管理用户登陆 Open Lab的
10、帐号，包括帐号开通、暂停（加锁） 、恢复、删除。用户资料管理：管理用户资料，包括姓名（单位） 、身份证号码、住址及资费信息等。用户信息：ID，姓名、帐务帐号/密码、Open Lab 帐号/密码、状态（正常/暂停/关闭） 、联系电话、Email、开通日期、停止日期、付款方式（现金/邮寄/支票/转帐/电子银行）、证件号码、职业（学生/IT 从业人员/非 IT从业人员） 、国籍（中国/美国/加拿大/日本/英国/澳大利亚/其他） 、性别（男/女） 、单位、联系地址、邮政编码。注意：本系统一个用户对应一个帐务帐号，可以对应多个 Open Lab帐号。2、管理员管理需求：管理员开通管理：管理用户登陆 Ne
11、tCT OSS的帐号，包括帐号开通、暂停（加锁） 、恢复、删除。管理员资料管理：管理管理员资料，包括姓名、身份证号码、住址等。管理员权限管理：改变管理员的各类权限。管理员信息：ID，姓名、帐号（一个） 、密码、状态（正常/暂停/关闭） 、联系电话、Email、开通日期、停止日期、权限注意：一个用户对应一个帐号。3、帐单管理需求：整合系统按月生成用户月帐单。帐单信息 用户标识信息：帐单 ID，姓名、帐号、状态（正常/暂停/关闭） 、联系电话、Email、开通日期.帐务信息：帐号、日期、登录时长、本月费用帐单明细：登录时间 退出时间 时长4、帐务管理需求：按月、年分别生成月帐务信息统计报表和年帐务
12、信息统计报表 。月帐务信息生成一个计费月周期中，每一天的帐务信息。月帐务信息：日期 时长 费用年帐务信息生成一个计费年周期中，每一月的帐务信息。年帐务信息：月份 时长 费用5、资费管理需求：用户可以通过登录系统来查询电信公司所提供的一些资费信息，以方便用户来使用。管理员通过登录系统可以根据公司运营情况来向其中增、删、改资费信息。资费信息：资费 ID，资费名称，月租，使用费，描述6、采集模块需求：所需系统文件：计费 Log文件数据库表 资料信息表：用户信息、管理员信息、资费信息、URL 信息数据存储表：明细表、日表、月表、年表7、整合模块需求：所需数据库表：用户消费明细表、日表、月表、年表产生数
13、据库表：服务器被使用量的日表、月表、年表业务模型：用户首先通过 3A服务器验证后，可以使用出租实验室，并记录用户的登录与退出信息，信息经过加工处理生成系统所需数据持久化在数据库中，供管理和查询，如下图:2.4 系统概要设计2.4.1 系统模块划分：该系统包括两个子系统：数据采集与整合系统与 WEB系统。在数据采集与整合系统中又可分为数据采集模块与数据整合模块。数据采集与整合系统中的数据采集模块主要功能是将电信服务器上的计费文件中所有用户的消费记录采集并且整理出来，然后插入到数据库中。从功能上讲，该系统共分为三个模块，分别是采集模块，入库模块和网络模块。从部署运行方面讲该采集系统分为客户端和服务
14、器端两个部分。客户端部署在电信服务器上，用于采集和整理计费文件中的原始记录并把结果发送到服务器端。服务器端用于接收从客户端发送过来的数据，并持久化到数据库中相应的表中。数据整合模块主要功能是将数据库中的用户原始的消费数据进行整合，形成可供用户和管理查询的帐单，如日清单，月报表，年报表，以及仅供管理员查询的帐务清单，主要用于考察电信服务器的运行情况。该子系统是电信运营支撑系统中的后台实现，也是 WEB系统的依赖。WEB系统是整个电信运营支撑系统的表现，是和用户进行交互的部分。该系统可供用户和管理员查询相关内容。通过登录该系统，用户可以完成查询帐单，修改个人信息，浏览电信运营商提供的各种资费服务。
15、管理员可以完成查询所有用户帐单，修改管理员信息，对用户进行管理（开通，关闭，删除用户帐号） ，对管理员进行管理（开通，关闭，删除管理员帐号） ，修改资费项目，查看电信服务器运行情况。根据以上功能，该系统可分为六个模块，用户管理模块，管理员管理模块，用户自服务模块，帐单管理模块，资费管理模块，帐务管理模块。2.4.2 业务流程图：通过底层的采集与整合模块将系统所需要的数据插入到数据库当中，供用户及管理员使用。由图可看出，用户想使用 Openlab服务器就必须通过 3A服务器的验证，验证通过则允许使用并记录日志。在 web部分用户可以通过登录系统来查询及修改自己的信息，管理员可以管理相应的信息。如
16、用户管理和计费管理2.4.3 总体架构图：DailyMonthlyYearORACLE中央处理系统采集系统LogRouterSwitch工作站帐务查询系统用户管理系统ADM管理系统DBS数据整合系统BIDR采集系统解析日志文件中的信息，把对我们有用的信息采集回来，封装成一个结构传输到中央处理系统，然后持久化到数据库当中，经过整合这些数据，再分别存储到不同的表中，供系统使用。通过登录系统，用户可完成相应的操作，包括查询自己的消费信息，修改自己的一些信息等等。管理员则可对用户、业务及服务器进行管理。2.4.4 课题相关模块2.4.4.1 系统部署图：下图中“中央处理器”模块包括：数据采集服务端、数
17、据整合端，也包括存储数据的数据库。 一一一一一一一一一TCP/IPTCP/IPTCP/IP一一一一一一采集部署图一一一 一一一 Web一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一Web一一一eb一一一Web一一一eb一一一Web一一一一eb一查询和管理部署图2.4.2.2 部署、用例与组件图用例图一一一一一一一一一用例描述用例名称 查询月帐单描述 管理员可以进行月账单查询用例参与者 管理员前置条件 管理员已经登录成功 基本事件流 登录成功后，管理员进入系统主页面，在主页面的导航菜单中点击帐单管理 链接，页面就显示出系统中所有帐务帐号在上月的总的费用的列表基本事件流
18、 登录成功后，管理员进入系统主页面，在主页面的导航菜单中点击帐单管理 链接，页面就显示出系统中所有帐务帐号在某年某月总的费用的列表，因为帐务帐号很多，不利于查看，在此页面上有分页的功能，在列表下方有上一页和下一页的链接和选择页码的拉列表框，可以直接点击这两个链接或直接在列表框里选择页码来跳转到帐单列表页面，显示指定页面的信息基本事件流 登录成功后，管理员进入系统主页面，在主页面的导航菜单中点击帐单管理 链接，页面就显示出系统中所有帐务帐号在某年某月总的费用的列表，在此页面中有查询某帐务帐号在某年某月的功能，操作流程是，在页面上方有文本提示写着帐务帐号，后边有一个文本框，在里面填写你要查询的帐务
19、帐号名，后边还有两个下拉列表框，后边文本提示分别写着年、月，在这两个下拉列表框里分别选中你要查询的年和月，然后点击查询按钮完成操作，如果输入的帐务帐号存在，就会在列表页面显示此帐务帐号在某年某月总的费用，如果在帐务帐号文本框里没有输入会查某年某月所有帐号总的费用其他事件流 无异常事件流 如果查询不到任何结果，则显示没有查询到任何记录。后置条件 无用例名称 查询月帐单明细描述 管理员可以进行月账单明细进行查询用例参与者 管理员前置条件 管理员已经登录成功 基本事件流 登录成功后，管理员进入系统主页面，在主页面的导航菜单中点击帐单管理 链接，页面就显示出系统中所有帐务帐号在某年某月总的费用的列表，在每个帐务帐号的总费用之后都会有一个明细的链接，直接点击链接就会进入帐单明细页面 ，此页面会显示该帐务帐号上所有业务帐号上发生的所有费用的明细信息其他事件流 无异常事件流 无后置条件 无组件图 一一web一 一一一一 一DAO一一Bean一 一一Bean一帐务管理模块：用例图
