1、数据分发平台培训 2008年10月20日,培训大纲,数据分发平台(DSP)简介flowline功能介绍BI接口在flowline上的实现组任务组件功能介绍,数据分发平台的设计目的,给BOSS框架之外的其他的外围系统提供所需数据(举例：BASS-经营分析系统 大客户系统)减轻BOSS各业务在线系统的压力 和1.0的比较使数据提供方式更灵活在和第三方厂商协商好相关规范之后，开发工作迅速简单,数据分发平台的主要功能,DSP根据实际的需要对源文件（表）进行数据处理节点转变成新的文件（目标文件）存处到另一个指定的位置。主要实现了数据的的拷贝、复制、分流、过滤、分组等功能。如下图：,flowline功能介
2、绍,flowline基本原理模型 一个处理器有1个输入库，可以有1n个输出库, 库是连接处理器与处理器的桥梁，一个库可以作为多个处理器输出，但只能作为一个处理器输入。,数据分发平台框架,数据分发平台框架,数据分发平台,数据分发平台和其他系统的关系,CRM库,帐务库,计费库,经分系统,大客户系统,其他外围系统,BOSS其他业务系统,DSP平台,工具下载地址,http:/192.168.5.190:8080/flowline-ide/ 在点击此链接前确保你已经安装jre1.4.2以上版本,界面与控件介绍,界面与控件介绍,流程管理器： 作用是为了建立一个流程的名称也就是整个流程的一个名称。一般定义方
3、法看其名知其流程图的作用。 eg：bi_10001001,bi_11001002 st1_user_in,st2_person_month, trade_in 如果你想新建一个新的流程图，在菜单中选择文件新建流程定义输入流程名、选择文件目录。,界面与控件介绍,资源库：作用是创建全局资源类型与库，在用户创建一个流程后一定有源文件（数据库）与目标文件（数据库），而每个文件（数据库）都有不同的类型（字段的个数与类型）。而全局资源类型的创建是为了方便建立流程图服务的。,界面与控件介绍,系统：包括数据库与主机。它的作用就是为了创建、修改、删除系统的数据库与主机的。在创建一个具体资源库时要指定主机和数据库
4、的具体位置。,节点方法介绍,节点方法介绍,复制器：功能跟文件拷贝基本相同不同点就是他复制多个拷贝 分拣器：该节点的功能是：就是过滤符合要求的数据例如：有一个表（table）有若干字段（ID，name ,.）我们过滤ID小于10，放到缓冲池dst1中其它放到缓冲池dst2语句为：ID 是流程图的中各个节点的连接符也是数据流向。关联： 缓冲池中的内容与一个或多个文件关联（这些文件存在某种关系）从而生成新的文件。（该功能还未能实现）。,如何完整的创建一个流程图,在系统框中添加一个新的主机地址为（IP）用户名与口令是可以进入该主机的用户。,如何完整的创建一个流程图,创建全局资源库类型 在资源库中建立两
5、个全局资源库类型（BI接口test经分互动、 BI接口test经分互动表（增量表，全量 表） 分别为源与目标文件服务的,全局资源库类型,全局资源库类型,FLOWLINE支持的类型有：数值，字符串，日期数值类型为最高19位、日期为8位、字符串类型不要超过255就可以了,整个流程,运行：主机bin 目录fl test_lisj1查看日志：select * from tl_fl_cycle_log,BI接口建设背景,在源系统与经营分析系统之间架起一座桥梁，屏蔽了源系统（源系 统包括：BOSS系统、客服系统、网管系统、OA、其他数据源等，下文所说源系 统与此同）之间的差异，最大限度地减少了经营分析系统
6、集成商与源系统集成商 之间针对接口问题的重复讨论,接口单元的编码规则,BI接口文件命名规则,接口单元编码yyyymmdd序列号.AVL其中，“XX”为一位大写字母，表示接口数据文件的类型：I：一次性抽取数据文件P：日全量抽取数据文件A：增量数据文件M：月全量数据文件接口单元编码yyyymmdd序列号.CHKyyyymmdd.KPI,BI接口文件命名规则,KPI:客户数 新增用户数 GPRS用户数 欠费金额 通话时长 实收金额 ,BI接口在flowline上的实现,营业帐务部分 基本原理：根据不同的数据内容和数据周期要求从CRM库、帐务库等源系统抽取全量或者增量数据到数据分发平台上，然后做对应的
7、分拣和转换，最后生成对应的接口文件到指定的主机目录中。,CRM库,DSP平台,外围系统,帐务库,DSP在flowline上的实现,营帐部分 增量数据采集方法： CRM部分：首先以tf_bh_trade为的增量为驱动，采集tf_f_user的增量数据，然后后续的tf_f_customer,tf_f_cust_person等资料表的采集都是都是依赖于tf_f_user的增量。 帐务部分：以tf_a_paylog表的增量为驱动，采集tf_a_writeofflog等日志表以及accountdeposit等资料表的增量。,DSP在flowline上的实现,营帐部分 全量数据抽取方法：现在全量数据抽取方
8、式比较简单，从数据分发平台直接连到CRM等源数据库上，读取对应的数据表(每次读取的记录条数可以在flowline中设定)，将数据集写到内存中，最后生成对应的接口文件。,DSP在flowline上的实现,计费清单部分 基本原理： 1、计费将批完价后入库前的文件放到备份目录中供分发平台ftrans cXX 进程读取 2、统计入库程序将从计费主机上读取的文件做完入库操作后，备份到DSP主机上的文件目录中 3、清单文件转换流程定时将统计备份目录中文件读取到内存中，经过分拣、过滤等数据处理器转换成一定格式后生成接口文件。,计费主机,入库进程,DSP平台,清单转换,外围系统,计费文件分发,DSP在flow
9、line上的实现,计费清单部分 清单转换执行周期： 1、神州行充值卡、IP充值卡、固定IP、IP记帐卡这四种清单的数据转换是每天执行一次； 2、GSM清单、GPRS清单等其他所有的清单数据转换是每一个小时执行一次，所以每天最多会有24个接口文件产生,组任务组件功能介绍,基本原理 组任务组件是运行在UNIX操作系统环境下的常驻进程。通过定时扫描任务运行参数表去执行满足执行条件的工作。每个工作是由一个或多个任务组成，每个任务都是一个独立的逻辑单元，当所有任务都执行完毕，此工作才算完成。组件执行过程将严格按照任务执行线路（路由）进行。每项工作只有一个任务路由，每个任务路由是由多条任务路径构成。,组任
10、务组件功能介绍,工作定义(td_s_work) 每项工作都有一个work_id，每项工作的ID是区别一个工作的唯一标识；每项工作主要包含的信息有：工作名称、工作的状态、执行类型、下次执行时间、时间间隔、工作执行类型标志。 现在的系统中只有两种执行类型：定时触发执行、手工触发执行。,Td_s_work,每月执行一次：add_months(next_date, 1) 每三周执行一次：next_date+3*7 每两天执行一次：next_date+2 每三个小时执行一次:next_date+3/24 每四十分钟执行一次：next_date+40/(24*60),组任务组件功能介绍,任务定义(td_s
11、_task) 每项任务都有自己唯一标识的ID、任务名称、任务类型等信息。 现在的任务类型主要有两种：1、shell脚本命令 2、存储过程；存储过程需要配置一下信息：本地或远程标志、连接用户名、连接口令、连接SID,组任务组件功能介绍,路由说明(td_s_route) 每一个工作都对应着一个唯一的执行路由。主控进程按照路由中展示的任务先后执行顺序，执行满足条件的任务。当执行到路由中最后一个虚拟结束任务结点时，预示着整个工作完成，这时工作的状态从运行状态回到准备就绪状态，等待下次执行时间的到来。,组任务组件功能介绍,路由分类 1、串行路由 :TB-T1-T2-T3-T4-T5-TE 在上述工作路由图中，只有当任务Ti(i=1.4)执行完成后才能执行Ti+1；当最后一个Ti+1（即T5）执行完成后才能执行TE； 2、并行路由 :任务T1、T2、T3、T4、T5并发执行。 当Ti(i=1.5)都执行完成后，才能执行TE。,谢谢,Thank You,地址： 南京市中山南路弓箭坊40号邮编： 210006电话：（8625）2209888传真：（8625）2202288客服热线：（8625）2207799网址： http:/,
