1、企业IT大数据系统,IT大数据使用,01,02,03,IT大数据介绍,IT大数据部署,IT大数据运维,04,目录,日志处理的历史背景,日志导入关系型数据库,查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看,日志被定期清理，节省磁盘空间黑客入侵后抹去入侵记录日志,日志经常在安全事件发生后被关注没有对日志实时监控、分析,传统数据库无法适应TB级以上日志关系型数据库无法适应半结构化和非结构化日志信息不提供全文检索,日志没有被集中统一管理,日志未被完整保留,日志主要用于事后问题追查,日志的价值,产品特点,支持任何来源、格式日志，例如TCP、UDP、数据库审计、文件等方式。通过采集、结构化
2、、分类、归并、分析日志数据。,整合大数据存储、计算、搜索能力，对海量数据进行实时分析、挖掘。,全网日志统一管理,01,问题溯源,02,与大数据集成,智能运维，智能告警，及时发现问题、定位、原始数据取证，并自动与用户、资产信息关联,03,强大的数据处理和方便的扩展能力，以应用、插件的方式集成。,定制化开发,04,简介,Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志的多副本安全存储和实时快捷的分析计算能力。Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。Lion支持多种日志格式的采集和解析，并提供定制化开发和第
3、三方插件集成。,使用IT大数据系统进行日志数据的集中存储、管理和分析,支持日志文件上传、文件和目录监控、服务器端口监听、服务器性能监控等数据导入方式的界面化操作和进度查看。,数据导入,功能介绍,数据搜索结果支持时间轴筛选、自定义过滤条件、字段结果分类统计。,数据搜索,通过数据的查询、过滤、聚合结果生成多种可视化图表，支持动态实时更新。,数据可视化,告警功能、主机管理、用户权限控制等。,更多功能,框架,ElasticSearch 基于Lucene的搜索引擎，分布式架构，具有集群，分片，副本等属性,Beats 日志采集器，搜集文件、Windows事件、网络流量、性能指标信息,Logstash 日志
4、接收、富化、转发的引擎。支持系统日志、webserver日志、应用日志等,Lion Service 基于RPC的分布式服务设计，能快速处理复杂数据和业务,Lion UI 具备友好交互的Web应用，进行数据管理和可视化的界面配置和展示,软件环境,部署方案,控制台输入部署控制台提示，支持默认模式和自定义模式,读取配置文件部署一键部署，简单快捷,集群主机检测网络安装包准备 安装包命名规则为lion-.bin。发送安装包到Lion集群主节点。集群主机时间校对集群主机信息获取 获取集群主机IP、ssh端口(默认22)、root密码的信息。集群主机名检测 合法的hostname，不能为localhost。
5、保证/etc/hosts中hostname和IP一一对应。,安装前准备,控制台输入方式部署Lion过程,Lion安装,功能点,主页,数据导入,文件上传,数据监控场景,如何监控远程文件和目录如何接收转发的日志 (TCP/UDP/SNMP)如何监控用户上网行为 (HTTP/DNS)如何监听邮件服务 (POP3/IMAP)如何监控数据库操作如何监控服务器性能如何监控Windows日志,数据监控,采集流程,数据事件,数据导入事件状态查询数据导入事件启动、停止、查看日志,解析规则,数据搜索,键入关键词后任意搜寻即时的在线查询自定义过滤条件自定义字段显示搜索结果导出搜索另存为告警,具备快速自定的各种型态搜
6、寻，而不是只有固定几种的字段，不需要指定数据的格式(format)，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像Google一样的直观易用。,时间选择器,使用时间范围挑选器指定检索事件的时间段。时间范围挑选器提供了许多可供选择的预设时间范围，但您也可以输入自定义时间范围围挑选器指定检索事件的时间段。,相对时间选择：选择相对现在的时间范围,自动刷新：选择刷新频率,数据可视化,新建可视化图表,支持多种可视化图表绘制通过数据的查询、过滤、聚合结果生成图表实时的可视化分析报表钻取,编辑可视化,新建仪表盘,自定义图表排列实时数据更新图表间数据动态关联可增加时间段和其它过滤条件,保存和导
7、出仪表盘,保存仪表盘将仪表盘导出PDF保存仪表盘时间范围共享仪表盘给其他用户,主机管理,主机类型服务器探针,主机WindowsUbuntuCentsOS/Redhat,告警管理,能够定期执行，并依据搜寻结果发出各项警示通知，可通过email等方式通知用户。,访问控制-用户和角色管理,角色是权限集用户继承角色的权限,访问控制-数据权限,功能权限数据权限索引权限对象权限可视化报表仪表盘搜索条件,个人设置,更换主题数据权限设置主页 修改密码修改个人属性,帮助页面,查看Lion各服务运行状态,查看后台各服务运行状态 控制台输入命令： supervisorctl status查看Web客户端服务运行状态 控制台输入命令： pm2 list,查看Lion日志文件,各服务安装日志/usr/local/lion/lion_install.log；Supervisor启动各服务日志 /usr/local/lion/lion_start.log；Web客户端运行日志 控制台输入命令： pm2 logs后台各服务运行日志 控制台输入命令： supervisorctl tail f ,
