1、NPM配置文件说明导览 SmartProbe 配置 o SmartProbe配置文件 smartprobe.xml dispatcher.xml cleaner.xml watcher.xmlo Pktminer配置文件 pktminer.xml pm2.inio DP配置文件 dp.xmlo SmartProbe 配置文件更新 NPM Data配置 o NPM Data配置文件 dataflow.xml npmd.xml expire.xml watcher.xmlo NPM Data配置更新 NPM Web配置 o NPM Web配置文件 smartprobe.xml sever.xml
2、npmweb.xml expire.xml spvd.xml syslog.xmlo NPM Web配置更新SmartProbe 配置SmartProbe配置文件smartprobe.xml用于配置SmartProbe的环境参数/opt/smartprobe/etc/system/local/smartprobe.xml Expand source9000 #web_port:web 进程绑定的端口号,默认值:9000./var/store #store_folder:pcap包文件/NTS文件/NTA 文件存储的顶层目录,默认值:/opt/smartprobe/var/store/opt/p
3、ython27/bin/python/opt/python27/bin/supervisorctldispatcher.xml用于配置SmartProbe与NPM Server的数据传递参数/opt/smartprobe/etc/system/local/dispatcher.xml Expand sourceanonymous #auth_key:NPM 授权smartprobe 链接,默认值:anonymous;更改后需要在NPM Web上的smartprobe.xml中同步更新;1000 cleaner.xml用于配置SmartProbe的数据清理/opt/smartprobe/etc/
4、system/local/cleaner.xml Expand source#cleaner:清理相关配置60 #tick: 检查磁盘容量的频率,默认值:60,单位:秒10% #limit:磁盘空闲容量的最低值,默认值:10%,可选用百分比和绝对值表示。当磁盘容量低于该值时,cleaner会被触发清除旧数据,释放磁盘空间10% #free:每次清除操作,释放的磁盘空间,默认值:10%,可选用百分比和绝对值表示。含义是:不断清除旧数据,直至磁盘容量高于设定的limit。 默认值足以满足需求,一般不需要修改此配置项1 #verbose:按容量清理时显示log详细信息的级别#task:DP任务产生的
5、临时文件存放的过期时间。默认值:1天1位置 标签 默认 值 说明60秒 检查磁盘容量的间隔时间10% 磁盘清理的阈值,即空闲容量低于10%开始清理;支持百分比和绝对值10% 一次清理释放的空间,支持百分比和绝对值2天 DP任务临时文件保存的时间, 单位为小时、天watcher.xml用于配置SmartProbe的磁盘容量保护/opt/smartprobe/etc/system/local/watcher.xml Expand source60 #tick: 检查磁盘容量的频率,默认值:60,单位:秒90% #stop:SP停止工作时,磁盘容量占用百分比,默认值:90%。当磁盘容量占用大于等于此
6、百分比时,SP停止工作位置 标签 默认 值 说明60秒 检查磁盘容量的间隔时间90%SP停止工作的阈值,即磁盘占用空间超过90%SP 停止工作;支持百分比和绝对值Pktminer配置文件pktminer.xml用于配置SmartProbe的Packetminer 进程对于每个网络接口的数据包捕获参数/opt/smartprobe/etc/system/local/pktminer.xml Expand sourcev2 #version: Pktminer的工作模式,v1代表工作在标准版模式下,v2代表工作在高性能模式下#针对标准版的配置项pring #isol_cpus: 绑定的cpu,安装
7、完已确定,不能修改#针对高性能的配置项5555 #zmq_port: pktminer监听的端口号,默认值:55552000 #zmq_timeout:pktminer 请求的超时时间,默认值:2000,单位:毫秒(ms)512 #buffer_size:为libpcap 分配的buffer size,最大为1G512 #share_hwm:pring所用的share memory,最大值为2G2048 3 #timeout: 检查 snoop packet的参数,这个一般不用改,默认值即可15 #file_duration:控制数据包文件生成间隔,默认值为15秒#eth:针对特定网卡的数据包
8、文件生成间隔,默认值:30 秒30#eth:针对特定网卡的相关配置1000 #throughput:网卡速率设置#aggregation_port:汇聚模式,该模式会将多个物理网卡抽象为一个逻辑网卡,在这个标签下添加需要汇聚的网卡即可位置 标签 默认值 说明512 MB 标准版为libpcap分配的buffer size, 最大为1GB512 MB 为Pring 分配的缓存大小,最大 为2GB无 配置汇聚端口无 为某个网口设置的速率pm2.ini用于配置SmartProbe的Packetminer 进程对于每个网络接口的系统参数/opt/smartprobe/etc/system/local/
9、pm2.ini Expand sourceglobalcore_mask = 0xffffffffhugepage_memory_mb = 12000nic_rx_ring_size = 4032pring_data_hwm = 0x7fff0000burst_size_io_rx_r_nic = 4096burst_size_io_rx_w_ring = 144burst_size_worker_w_pcap = 144burst_spool_rate = 5burst_lpool_rate = 10burst_upper_limit = 100000000burst_time_span =
10、 0sleep_on = 1sleep_interval = 100sleep_time = 1zmq_port = 5555debug = 0 #debug: debug开关,默认关闭nic0enable = 1 #enable: 是否开启此网卡的抓包功能port = 0 #port: 网卡编号queue = 0io_core = 1 #io_core: 配置io线程所用的core idworker_core = 31 #worker_core: 配置worker线程所用的core idheartbeat_ms = 1000pring = p0 #pring: pring的id,可以和/de
11、v/shm 目录下的文件相对应pring_count = 4 #pring的个数pring_slice = 128file_duration = 60 #file_duration: pcap.sz文件生成的间隔pring_snap_len = 65535pcap_dir = /opt/smartprobe/var/store/pcap/nic0 #pcap_dir:数据包输出目录compress = 1 #compress: 是否压缩为sz文件. 因为目前数据清理只支持 sz文件,所以默认是压缩的# compressor_core = 3,4 默认不开启,此时数据压缩是由worker线程来承
12、担的;当流量4Gbps时,需要多个线程共同压缩,此时需要开启这个选项,一般情况下,2个core用于压缩足够了nic1enable = 1port = 1queue = 0io_core = 2worker_core = 30heartbeat_ms = 1000pring = p1pring_count = 4pring_slice = 128file_duration = 60pring_snap_len = 65535pcap_dir = /opt/smartprobe/var/store/pcap/nic1compress = 1位置 标签 默认值 说明nic_x pring_count
13、 无 为单个接口分配的pring个数,高性能版可以 1compress 1 是否开启存包压缩,0为不压缩, 1为压缩compressor_core无 执行压缩的核编号DP配置文件dp.xml用于配置SmartProbe的DP进程进行数据包解析的参数/opt/smartprobe/etc/system/local/dp.xml Expand source2048 84 1000000 #max_flow_count:DP支持处理的最大并发连接数,默认值:1000000120000 #flow_timeout:会话最长保持时间,默认值:120000,单位:毫秒(ms)9000 #flow_atta
14、ch_timeout:会话建连超时时间,默认值:12000,单位:毫秒(ms)120000 #flow_detach_timeout:会话拆连的超时时间,默认值:9000,单位:毫秒(ms)spz 200000 #ways_inside_group:多路存储NTA/NTS/PCAP数据文件方式2 #export:控制NTA/NTS数据多路输出,默认值:2,表示2路存储2 #store:控制PCAP数据多路存储,默认值:2,表示2路存储400000 #global_known_unit_count:已知应用的Flow 数上限,超过则合并到其他,默认值: 1分钟40万200000 #global_
15、unknown_unit_count:未知应用的Flow数上限,超过则合并到其他,默认值:1分钟20万0.6 #unit_shrinkage:被合并的Flow数比例,默认值:0.6#cache:各环节缓存区大小20000 100000 200000 200000 100000 100000 100000 100000 100000 100000 100000 100000 200000 200000 #runtime:实时模式下DP的相关配置500060000 #report_beat:控制数据的基础颗粒度,默认值:1 分钟,可用值:15秒,1分钟60000 60000 #ntae_repor
16、t_beat:控制NTA数据输出和存储的颗粒度,默认值:1分钟,5分钟,15分钟,1小时,可选15 秒15000300000 #5分钟NTA 颗粒度存储900000 #15分钟NTA颗粒度存储3600000 #1小时NTA颗粒度存储1 400000 200000 0.6 400000 2000000.64000002000000.6 #worker_count:工作线程数量配置0 9 13 8 6 4 4 5 5 spz 200000 #store:数据存储相关配置,选择各种数据的压缩格式sz sz simple compact msgpack sz szszsznotMerge 100000
17、0 :dynamicFirst #batch:batch模式相关配置,用于数据包提取5120#pcap_extract:数据包提取相关配置pktfilter #mode:控制数据包提取模式,默认值:pktfilter,可选值:dp,pktfilter4 #pktfilter_worker_count:pktfilter模式提包并发进程数量设置0 #time_span:按时间间隔控制数据包切割,默认值:00 #packet_count_span:按包数控制数据包切割,默认值:01073741824 #file_size_span:按文件大小控制数据包切割:默认值: 1G0595421dynami
18、cFirst#tools:数据文件和数据包解压缩工具相关配置2048 0595#cocurrent:控制DP任务同时执行的数量24 #nts: 控制应用发现的任务数,默认值:24,0表示禁止应用发现30 #ntr:控制故障诊断的任务数,默认值:30,0表示禁止故障诊断20 20 #pcap:控制下载数据包的任务数,默认值:20,0表示禁止下载数据包#zmq_signal: DP监听信号的相关配置项tcp:/127.0.0.1:5577 #endpoing: 监听的端点,默认值:tcp:/127.0.0.1:55772000 #timeout:DP请求的超时时间,默认值:2000,单位:毫秒(m
19、s )#adapter_zmq_signal: DP-adapter监听信号的相关配置项tcp:/127.0.0.1:55782000#eth:针对特定端口的相关配置,name:端口名字true false true true #eth:针对特定端口的相关配置, name:端口名字false #flowHashIncludeVlanEnable:控制VLAN数据弃用和禁止,默认为falsefalse 位置 标签 默认值 说明1000000 支持的最大并发连接数,最大值为1200000400000 已知应用Flow 数上限,超过则合并到总量200000 未知应用Flow 数上限,超过则合并到总量
20、0.6当上述两个Flow 数达到上限,被合并到总量的比例4 提数据包并发进程数0按时间控制的切包,单位毫秒0 按包数控制的切包1073741824按文件大小控制的切包,单位Bytefalse 计算Flow是否按 VLAN区分SmartProbe 配置文件更新1. smartprobe restart2. NPM UI中进入管理,同步配置NPM Data配置NPM Data配置文件dataflow.xml用于配置NPM Data Server 的数据统计计算参数/opt/npm/etc/system/local/dataflow.xml Expand source60 #base_span:控制
21、数据的基础颗粒度,默认值:60秒,可用值:15秒,60秒#worker:进程组worker的相关配置1000 23200 #port_start:worker进程的起始端口,默认值为232008 #count:进程数量设置 auto auto -1 0 0 0 #group:进程组group相关的配置0 #count:进程数量设置#exporter:进程组exporter相关的配置23300safe 423400234012 #count:进程数量设置#弃用015,60,300,900,3600 50 pktcnt,pktlen,flow_countsp900 total_memory*max
22、_memory_percent, auto restart process 0.05 #dashboarder:进程组dashboarder相关设置236001位置 标签 默认值 说明18 worker进程数0 group进 程数4 exporter进程数2 alerter进程数1 dashboarder进程数npmd.xml用于配置NPM Data Server 的通讯参数/opt/npm/etc/system/local/npmd.xml Expand source60a55f30-f317-11e5-a452-0242ac11016c #npm data服务器的ID,该NPMD 实例的唯
23、一 标识,安装时指定,无需修改172.16.15.120 #npm data服务器的主机ip地址23080 #web_port: web_data进程绑定的端口号,默认值:23080#sp_loader:从Smartprobe获取数据时使用的端口范围,无需修改2800028300位置 标签 默认值 说明NPM Data的ID,唯一标识NPM Data的IP地址expire.xml用于配置NPM Data Server 的数据清理和老化参数/opt/npm/etc/system/local/expire.xml Expand source120 #tick: 扫描磁盘频率,默认值为2分钟。0 #
24、verbose:按时间清理时显示log详细信息的级别#data:控制永久性存储数据的清除1 #verbose:按百分比/绝对值容量清理convs和ipport数据时显示log详细信息的级别10% #limit:磁盘空闲容量的最低值,默认值:10%,可选用百分比和绝对值表示。当磁盘容量低于该值时, cleaner会被触发清除旧数据,释放磁盘空间10% #free:每次清除操作,释放的磁盘空间,默认值:10%,可选用百分比和绝对值表示。含义是:不断清除旧数据,直至磁盘容量高于设定的limit。 默认值足以满足需求,一般不需要修改此配置项1 #level:按容量清理时清理的级别,默认值为 1,可用值
25、为0和1。0代表清理到天, 1代表清理到小时。365 #stat:统计数据( 除15s颗粒度)的过期时间,默认值:365 天8 #stat_15s:15s颗粒度统计数据的过期时间,默认值:8小时365 #spvstat:spv统计数据的过期时间,默认值:365天#弃用8 7 15 30 90 #弃用8 7 15 30 90 #cache:控制临时任务产生的临时数据的清除2 #nts:discovery 临时任务数据的过期时间,默认值:2天2 #弃用位置 标签 默认 值 说明120 扫描的时间间隔,单位为秒10% 磁盘清理的阈值,即空闲容量低于10%开始清理;支持百分比和绝对值10% 一次清理释
26、放的空间,支持百分比和绝对值365天 数据库中统计数据的过期时间,支持天、小时的单位8小时 数据库中15s精度统计数据的过期时间,支持天、小时的单位365天 数据库中SPV统计数据的过期时间,支持天、小 时的单位2天 应用发现临时数据过期时间,支持天、小时的单位watcher.xml用于配置NPM Data Server 的磁盘容量保护/opt/npm/etc/system/local/watcher.xml Expand source60 #tick: 检查磁盘容量的频率,默认值:60,单位:秒90% #stop:NPM停止工作时,磁盘容量占用百分比,默认值:90%。当磁盘容量占用大于等于此
27、百分比时,NPM停止工作位置 标签 默认 值 说明60秒 检查磁盘容量的间隔时间90%NPM停止工作的阈值,即磁盘占用空间超过90%NPM 停止工作;支持百分比和绝对值NPM Data配置更新1. /opt/python27/bin/python /opt/npm/npm/commands/genconfig.pyc all2. npm restart data3. /opt/python27/bin/python /opt/npmweb/npmweb/commands/applyview.pycNPM Web配置NPM Web配置文件用于配置NPM Web Server 与SmartProb
28、e通讯参数smartprobe.xml/opt/npmweb/etc/system/local/smartprobe.xml Expand sourceTrue #enable_spv_match:控制DP是否执行匹配SPV的操作,默认:true,可选值:true和false9000 #port: SmartProbe的web端口号,默认值:9000。这是一个全局配置, 可以在SmartProbe实例的配置项中,覆盖此值anonymous #auth_key:172.16.15.127172.16.15.127520cb850-f6f6-11e5-af76-0242ac110179位置 标签
29、默认 值 说明SmartProbe别名SmartProbe IP地址NPM Data的ID用作KEY ,需要跟smartprobe 上的dispatcher.xml 中的auth_key一致sever.xml用于配置NPM Web Server 与NPM Data Server的通讯 参数/opt/npmweb/etc/system/local/sever.xml Expand source#server:一个NPMD实例的配置172.16.15.126 #host:NPMD实例所在服务器的IP地址23080 #web_port:NPMD实例的web_data进程绑定的端口号,默认值:2308
30、0172.16.11.21123080位置 标签 默认值 说明NPM Data的IDNPM Data的 IP地址npmweb.xml用于配置NPM Web Server 的各进程处理及web 显示参数/opt/npmweb/etc/system/local/npmweb.xml Expand source172.16.15.126 #host: npmweb服务器的ip地址80 #web_port:web进程绑定的端口号 #reporter:进程组reporter相关的配置2 #count:进程数量设置,默认值:2false #enable_ipport:配置IP/Flow的报表,可选项:fa
31、lse和true。false:不可以配置ip和flow的报表,true:可以配置ip和flow的报表#syslogger:进程组syslogger相关的配置1 #count:配置进程的个数,默认值:250 5 #dataflow:控制NPMD dataflow的配置60 #base_span:控制数据的基础颗粒度,默认值为60秒,可用值:15秒和60秒#spv:控制spv中相关界面显示的配置1000 #max_ip_count:控制一个服务器组件的最多的IP数目,超过这个数字的IP不会在统计视图界面上显示5 #max_site_group_count:控制SPV站点Dashboard中左侧显示
32、的站点分组的数目,如果配置的Tag数目超过这个数目,会合并到“其他“分组中。#stat:统计视图相关配置#search:统计视图中搜索,默认颗粒度15分钟900 #span:#export:#csv:统计视图表格中导出 csv中最大记录1000 #limit:#view_top:控制LCV/DCV视图中默认显示项10 #app:控制LCV/DCV视图中默认显示的应用的top值,超过这个数目则不再视图中显示10 #site:控制LCV/DCV视图中默认显示的应用的top值,超过这个数目则不再视图中显示#factor:根据实际所配APP,Site 填写,可以优化视图显示300300#discove
33、ry:应用发现jobber进程中可起的子进程,默认值:-7,即可起7个子进程-7#sp_loader:从Smartprobe获取数据时使用的端口范围,无需修改 3810038200#troubleshooting:进程组troubleshooting 相关的配置1000000 10000 1000 20 60 #report:进程组report 相关的配置#panel:报表配置项panel设置10 #max_count:配置报表 panel的最大支持数目,默认值:10位置 标签 默认 值 说明NPM Web的ID2 reporter进程数false 是否允许配置IP/Flow的报 表1 sys
34、logger进程数5 同步间隔,单位秒900 视图搜索默认颗粒度,单位秒1000 视图统计表格中导出csv最大条目数10 视图中应用的TOP值10 视图中站点的TOP值10 每张报表可配图表数量5 SPV站点左侧导航显示站点分组的数量expire.xml用于配置NPM Web Server 的数据老化参数/opt/npmweb/etc/system/local/expire.xml Expand source120 #tick: 检查磁盘容量的频率,默认值:2分钟0 #verbose:清理时显示log详细信息的级别#data:控制永久性存储数据的过期时间365 #alert:告警记录的过期时间
35、,默认值:365天;unit 可选项:day,hour2 #task:DP 任务产生的临时文件存放的过期时间,默认值:2天位置 标签 默认值 说明120 扫描的间隔时间,单位秒365天 告警记录保存的时间,单位天、小时2天 临时文件过期时间,单位天、小时spvd.xml用于配置NPM Web Server 中应用发现及SPVD并发任务数/opt/npmweb/etc/system/local/spvd.xml Expand source10位置 标签 默认值 说明10 应用发现的进程数syslog.xml用于配置syslog 的输出参数/opt/npmweb/etc/system/local/
36、syslog.xml Expand source127.0.0.1514daemonnoticedefaultalertrelievelast*jsondsv|utf-8zh-cnts_endview_typesourcetypeeventvaluethresholdsts_startdurationstatusdirectionpeaktypelevelscopefull_event/opt/npmweb/etc/system/位置 标签 默认值 说明syslog服务器的 IPsyslog服务器的 Port根据syslog服 务器配置来设 置根据syslog服 务器配置来设 置alert 仅为alertNPM Web配置更新1. npm restart web2. /opt/python27/bin/python /opt/npmweb/npmweb/commands/applyview.pyc3. 在NPM UI 管理中,同步配置