1、基于 DNS 日志分析调度及优化设计与实现 程琦 中国移动通信集团福建有限公司福建移动网管中心互联网室 摘 要： 基于 DNS 日志分析调度及优化设计, 可实现对 DNS 日志的精细化分析, 资源调度情况以及存在的问题, 并做优化。同时及时发现 DNS 攻击问题, 防范于未然。基于 DNS 日志分析调度及优化设计与实现, 主要实现精细分析资源调度、预防DNS 攻击和智能优化功能。关键词： DNS 日志; 资源调度; 安全预警; 作者简介：程琦, 性别男 (汉族) , 福建省福州市人, 高级工程师, 学士学位, 主要研究方向为 IP 网络及业务。1 引言伴随互联网规模日益扩大, 用户量增加, 2
2、017 年 8 月 4 日, 中国互联网络信息中心 (CNNIC) 在京发布第 40 次中国互联网络发展状况统计报告1。报告显示, 截至 2017 年 6 月, 中国网民规模达到 7.51 亿, 占全球网民总数的五分之一。DNS 是因特网的一基本项服务, 它作为将域名和 IP 地址相互映射的一个分布式数据库, 能够使人更方便地访问互联网4。例如 Ftp、Email 网络服务是基于DNS 体系基础上, 随用户量大, 网络要求高。从而出现多出口带宽优化调度难;无法获取全网资源视图;难以实现较精细化的网络资源调度;并且无法发现 DNS攻击等问题。本文设计并实现基于 DNS 日志分析调度及优化, 对
3、DNS 日志进行精细分析, 通过域名查询解析的过程, 来分析资源调度情况并做优化, 并及时发现 DNS 攻击, 防范未然。2 设计原则全面性由于因特网内容提供商 (简称 ICP) 数量多, 资源调度无法精细, 因此基于 DNS日志分析可实现精细分析资源调度情况并针对性优化。本省的 LDNS 向 CP 权威DNS 解析域名时, 权威 DNS 根据 LDNS 的归属随机返回解析记录, LDNS 获取域名在全网的解析记录, 在需要全局调度选择最优节点。特定性支持域名黑白名单, 对递归请求域名进行黑白名单管理。安全性通过分析 DNS 日志, 可以定位基于主机耗尽型的 DNS 查询拒绝服务攻击。该攻击向
4、 DNS 服务器发送大量的 DNS 解析请求包, 由于 DNS 服务器每秒查询的次数有限, 使得无法超过这个次数来造成拒绝服务攻击。扩展性系统设计遵循高扩展性, 满足后期扩容需要。精细性针对具体域名及具体用户进行指定策略调度, 调度粒度比较精细, 可实现精细化流量管理。3 研究内容基于 DNS 日志分析调度及优化设计, 主要研究内容包括两个方面。第一方面, 基于 DNS 日志精细分析资源调度情况并针对性优化, 通过统计分析、智能调度和递归优化对 DNS 日志进行分析。第二方面, 及时发现 DNS 攻击, 预防攻击, 主要实现通过发送大量 dns 请求包, 由于 dns 服务器查询次数有限, 使
5、得无法在相应时间内做出回应, 从而造成拒绝服务攻击。资源记录包括了域名、TTL、等级、资源长度、资源数据和类型2。生存时间 (TTL) 控制了 dns 请求的时间, 从而进行相应的调优。资源记录如图一所示:图一资源记录 下载原图(1) DNS 查询请求日志实例 (图二) :图二 DNS 查询请求日志实例 下载原图DNS 查询请求解释如下:1.表示查询请求到达时间;2. 递归服务器 IP (实际就是终端的 IP 地址) ;3. 请求查询的域名;4. 表示资源类别 (class) ;5.A (资源类型 type) ;-E 表示 DNS 查询包的字段信息;-不请求递归。(2) DNS 日志获取1)
6、Local DNS 日志获取负责从 Local DNS 解析系统中收集数据包, 并对数据包进行处理, 通过对数据包的处理后生成一个五元组数据, 即请求时间、用户 IP、请求域名、解析结果IP、解析是否正确。2) 文件生成按照预先设计的命名规则、日志格式、文件大小、时间间隔, 生成需要上传的日志文件。日志服务器每一小时上传一次日志文件, 每个文件大小在 100MB 左右。3) 策略管理负责设定文件生成的策略管理, 文件生成的策略管理包括命名规则、日志格式、文件大小、时间间隔等。4) 上发管理负责对文件上发行为进行管理, 文件上发管理的内容包括时间间隔、上发目标、重发机制管理等。重发机制:在数据传
7、输过程中, 如果出现网络故障或其他故障导致文件传输失败, 可通过重发机制来保障数据的完整性和准确性。5) 上发报告定时提供文件上发信息报告, 包括上发时间、文件名称、文件大小、是否成功等信息。6) 文件管理定期对上发成功的文件进行删除。日志文件在本地的存储期限视用户现网环境决定, 该期间可在项目实施过程中设置。7) 文件上发将生成的日志文件和传输完整性判断文件上发到 DNS 日志处理模块。DNS 日志获取模块在约定的时间内把压缩后的日志文件上传到日志分析处理模块。(3) 对原始 DNS 解析日志需筛选由于 DNS 获取到的解析日志数量多, 日志信息杂乱, 存在很多解析失败的情况, 无条理, 难
8、于进行分析。因此, 需要对 DNS 解析的日志进行筛选、合并和处理。图三原始日志处理过程 下载原图DNS 域名具有一定的命名规则, 标号由 26 个字符 (不区分大小写) 和 0-9 字符组成, 连词号由“-”相连, 完整域名总的字符数不能超过 255 个字符。通过对用户请求相同的域名进行合并, 计算合并后请求的次数, 会得到相应的 DNS 查询日志信息, 不需对于相同的域名还要一一去统计。4 主要实现功能4.1 精细分析资源调度4.1.1 统计分析提供本省 DNS 日志分析的全景视图, 分别以域和域名为单位, 对 DNS 数据进行统合的统计分析。数据统计与分析开始, 通过 DNS 日志通过
9、FTP 方式上传到日志分析系统, 管理系统可根据 FTP 传送日志, 一旦传送完成就进行数据统计和分析。用户 IP 维度从用户 IP 维度统计分析资源调度情况。域名维度从域名维度统计分析资源调度情况。统计出每个域名的 DNS 查询数、出网次数、在省内次数、以及省内引入内容详细次数等, 并可按列排序。运营商可以通过统计分析了解全网指定用户类型访问流量流向的总体概况, 为内容引入提供依据。全网资源视图根据探测的解析记录统计分析全网资源视图。分析全网全量 top N 域名, 通过对热点资源 (热点网站、热点域名等) 、引入资源及偏差、高点击出网域名、错误域名等维度, 全方位的对现网所有请求域名逐一分
10、析及定位。资源视图包括网站、域、域名等互联网内容的可视化呈现, 支持对接收到的资源列表进行合并、整理, 形成全网内容资源的统一视图。4.1.2 智能调度智能调度策略综合根据 IP 归属、出口质量、带宽成本等因素智能调度。智能分析采用不同优化途径, 分别优化加速, 提升优化效率。IP 组策略调度根据用户的 IP 信息匹配智能调度策略。域名组策略调度根据解析的域名匹配智能调度策略。强制解析在解析某个网站是会出现无法正常解析, 出现解析错误等现象。可通过对特定域名指定解析结果。有时网页会出现请求超时, 网页丢失, 这时可对特定域名进行指定解析, 可以减少解析请求时间, 加快解析速度。4.1.3 递归
11、优化域名探测探测资源在全网的节点视图。域名地址有后缀、名称和前缀构成。后缀用于标识域名的主要性质, 如 cn、edu 之类的;名称就是网站的名称, 如 中 hello 及时网站名称;前缀是标识网站的类型, 中的 www 就是网络服务。域就是根名探测据域名特征, 在全网的探测节点视图。定时更新定期更新域名解析记录。通过 DNS 日志信息, 来定期更新域名解析记录。质量拨测对探测到的资源节点进行质量探测。在全网节点视图中对资源进行拨测, 对质差资源进行分析优化。域名黑白名单域名黑白名单是对指定域名递归优化。ip 黑白名单IP 采用黑白名单的形式, 对指定 ip 地址进行调度优化。4.2 预防 DN
12、S 攻击通过分析 DNS 日志, 可以定位基于主机耗尽型的 DNS 查询拒绝服务攻击。该攻击向 DNS 服务器发送大量的 DNS 解析请求包, 由于 DNS 服务器每秒查询的次数有限, 使得无法超过这个次数来造成拒绝服务攻击。基于 DNS 日志分析的用户在线检测算法, 可识别出用户的在线时间3。4.3 智能优化通过对本省 DNS 日志分析的全景视图, 分别以域和域名为单位, 对 DNS 数据进行统合的统计分析。数据统计与分析开始, 通过 DNS 日志通过 FTP 方式上传到日志分析系统, 管理系统可根据 FTP 传送日志, 一旦传送完成就进行数据统计和分析。通过统计和分析的数据进行智能优化,
13、对本省递归 DNS 出网递归时的DNS 请求进行干预, 对域名 TTL 进行合适的调优, 改变原有 TTL 值, 合理安排, 从而提升本网率, 亦可对合理利用 DNS 性能。智能优化需要实现自动分离动静态内容, 首先对动静态内容的业务特征进行识别。静态内容包括一些文本、图片、软件应用等发布后不易频繁变更, 没有用户交互行为的业务;动态内容包括实时直播视频、动态的资讯和加密的内容等发布信息后会出现频繁变更, 具有时效性的用户交互行为。对于静态业务内容, 一般采用缓存智能优化方式来实现。动态业务采用资源压缩, 对数据进行压缩, 从而降低在网络上传输的数据量, 可节省网络带宽并降低网络延迟。动静态内
14、容分离就需要运用 DNS 日志进行分析, 根据内容资源判断是否能访问缓存, 并运用智能路由引流的方式来实现。动态优化技术包括了传输协议优化技术, 通过控制 TCP 拥塞。静态可提升用户体验, 动态提升用户上网感知。5 系统关键技术实现5.1 攻击预警在单位时间内, 某个用户或某个域名, 过于频繁请求解析次数超过阈值某个域的请求次数接近于子域名个数以上两种情况可作判断 DNS 攻击的预警条件, 可将 IP 或域名加黑处理, 预防攻击5.2 纠正偏差对本省递归 DNS 出网递归时的 DNS 请求进行干预, 对于网内已有资源, 却被频繁调度到网外的域名, 进行预递归解析, 之后筛选出网内结果, 应答
15、递归 DNS网内资源, 提升 CP 调度的精确性, 将资源尽可能调度到网内。5.3 强制调度根据 DNS 分析系统对全网域名请求的分析, 将网外动态资源引入到动态加速系统, 动态加速系统使用 DNAT 技术, 替换网内 IP 为网外 IP, 由动态加速系统向网外站点拉取资源, 再替换网外结果为网内响应返回给用户, 再通过 DNS 调度, 强制将网外资源调度到网内去。5.4 TTL 优化对本省递归 DNS 出网递归时的 DNS 请求进行干预, 对域名 TTL 进行合适的调优, 改变原有 TTL 值, 合理安排, 从而提升本网率, 亦可对合理利用 DNS 性能。6 调试6.1 调试内容调试的主要内
16、容包括了精细分析资源调度情况和预防 DNS 攻击两个部分的内容, 查看是否到达方案预期设计的效果, 是否能正常投入适用。通过上线部署测试能够满足需求, 通过 DNS 日志分析能精细分析资源调度情况和预防 DNS 攻击。在某些细节上做了相应的调整, 信息的可靠程度得到保证。前期需要准备工作有以下七点内容:(1) DNS 日志对接(2) 统计分析(3) 智能调度(4) 递归优化实施(5) 资源精细调度管控验证(6) DNS 攻击预警实施(7) DNS 攻击模拟验证预警6.2 预期质量可对互联网资源调度位置变化给出预警, 并对资源质量不佳的进行调度优化;并对 DNS 攻击进行预警, 及时给出预防措施
17、。7 总结本文基于 DNS 日志分析调度及优化设计, 对 DNS 日志进行精细分析, 通过域名查询解析的过程, 来分析资源调度情况并做优化, 并及时发现 DNS 攻击, 防范未然。可对本省 DNS 系统解析日志进行采集精细分析优化并存储。从而实现多出口带宽优化调度, 获取全网资源视图, 实现较精细化的网络资源调度, 并且发现 DNS 攻击等问题。参考文献1中国互联网络信息中心 (CNNIC) 在京发布第 40 次中国互联网络发展状况统计报告R.2017 2浅析 DNS 协议J.邵明珠.解瑞云.甘肃科技.2006 (05) 3基于 DNS 日志分析的用户在线检测算法J.常得量.张千里.李星.华中科技大学学报 (自然科学版) .2016 4基于 DNS 日志的移动互联网分析D.查诚吉.北京邮电大学 2014
