1、基于会话 ID 的恶意下载识别方法 王思敏 阮楠 靳萍 西安工程大学 摘 要： 介绍了恶意下载的特点, 提供了一种快速识别的方法基于会话 ID 的恶意下载识别方法。关键词： 恶意下载; 内网 IP; 公共 IP; 组网技术; NAT; 会话 ID; 作者简介：王思敏 (1982-) , 女, 汉族, 陕西西安人, 硕士, 毕业于西北大学信息科学与技术学院, 现就职于西安工程大学图书馆, 馆员, 主要从事图书馆信息咨询服务工作, 研究方向:计算机系统结构。收稿日期：2017-07-25Received： 2017-07-25图书馆在一所高校中是有着举足轻重的作用的。在当今时代, 图书馆已经成为了
2、文献资源储存、共享和传播的中心, 为全校师生提供文献资源、信息资讯, 是教学科研必不可少的重要部分。一般来说高校图书馆为全校师生提供数字文献资源访问的方式有三种:第 1 种镜像访问方式, 数字资源存储在本地, 通过局域网内共享, 不受网络带宽和服务商限制, 缺点是需要占用大量的存储空间, 并且需定期更新数据, 信息滞后, 资源量不足;第 2 种镜像索引加包库, 该方式将数据库服务平台在部署在服务提供商一方, 图书馆只存储索引, 当存储数据量很大的全文数据时, 可以节省大量存储空间, 并可通过客户端软件来控制并发访问人数;第 3 种账号许可和 IP 登陆方式。这两种方式是数据库平台以及全部数据都
3、部署在数据库服务商一端, 图书馆从远程进行访问。区别在于账号方式, 服务商向已经取得授权的用户分配访问账号, 读者登录后使用;而 IP 登录方式, 数据库商已经从后台将使用权与 IP 地址段进行绑定, 用户无需进行任何认证, 直接登录使用。目前这两种远程方式已经成为国内图书馆采购电子资源及提供服务的主要方式, 但是这种远程方式也面临着一个较为严重的问题:当用户集中访问或批量下载资源时, 可能会被数据服务商认定为用于非教育、科研目的的恶意下载。1 恶意下载的特点恶意下载是指:单个用户在短时间内使用智能下载工具大量、集中下载同一数据库的文献。近年来, 恶意下载事件时有发生, 国内外数据库厂商及电子
4、资源出版社加大了对知识产权的保护, 全文电子资源的使用许可协议明文规定, 严禁使用各类下载软件、智能工具进行资源下载, 并对用户使用情况进行 7*24h 监控。当一个 IP 地址在规定时段内 (一分钟) 发出的下载请求超过许可范围 (30篇40 篇) , 将被监控系统视为使用下载工具进行的违规操作。轻者封锁 IP, 重者服务提供商援引合同条款, 停止该机构用户的使用权。那么图书馆花费巨资购买的数据库就无法再使用, 损失巨大。2 校园网组网技术简介2.1 网络地址短缺目前的网络技术处于第二代 IPv4 技术, 该技术主要的问题在于编址能力不足, 网络地址资源有限。其理论编址 1600 万个网络、
5、40 亿台主机。但由于采用了A、B、C 三类编址方式后, 实际可用的的网络地址和主机地址远低于理论值。目前的 IP 地址近乎枯竭。IPV4 核心技术属于美国, 因此 IP 地址的分布也非常不均, 北美占有 3/4 的 IP 地址 (约 30 亿个) , 而作为人口最多的亚洲却只分配有不到 4 亿个 IP, 中国只有 3000 多万个, 其数量仅相当于美国麻省理工学院的数量。IP 地址不足严重地制约了我国及其他国家互联网的发展和应用。针对这种情况, 普遍使用的快速解决方案就是网络地址转换技术 (NAT, NetworkAddressTranslation) 。2.2 NAT 技术简介NAT 技术
6、是将 IP 数据包头中的 IP 地址转换为另一个 IP 地址的过程。在实际应用中, 在客户网络内部, 每台计算机有一个内部的 IP 地址, 该地址是无法访问公网的, 只能用来路由内部流量。当需要访问外网时, 必须进行地址转换, 将内部 IP 地址转换为共享的真实 IP 地址。图 1 NAT 技术示意 下载原图(1) 内部 IP 地址为:192.168.1.2 的用户访问外网; (2) 经过 NAT 服务器, 它会将数据包封装的源 IP (192.168.1.2) 伪装成 61.185.255.162 这个公共 IP, 用这个公共 IP 地址访问 Internet。而 NAT 主机会记忆这个封包
7、是由哪一个内部 (192.168.1.2) 客户端传送来的; (3) Internet 将返回数据发送给 NAT, NAT 主机会去查询原本记录的路由信息, 并将目标 IP 由 NAT 上的公网IP61.185.255.162 转换为原来的 192.168.1.2; (4) 最后则由 NAT 主机将数据包传送给原先发送请求的客户端。这种技术用少量的真实 IP 地址支持较多的内部 IP 地址, 一个局域网甚至可用使用 1 个 IP 就可实现网络内所有计算机与网络的通信需求9。在我国大部分单位和高校都使用 NAT 技术组建局域网, 整个单位根据用户量多少, 只拥有一个到几个真实 IP 地址。3 校
8、园 IP 误封案例在广泛使用 NAT 组网的情况下, 所有用户对外访问仅通过一个或几个 IP 地址来实现。在学生开题、毕业论文撰写等需要大量使用文献时, 容易出现并发用户过多, 下载量剧增的现象。尤其在班级试验课时, 还容易出现下载内容集中, 学科主题非常一致的情况, 很容易出现恶意下载的假象, 造成数据库商的误判。笔者所在院校, 在 2014 年上半年度就多次被某数据库商封锁 IP, 影响数千师生数据库的正常使用。3.1 案例介绍2014 年上半年度, 笔者所在院校一时间接到很多师生的投诉, 反映某国内大型数据库无法正常下载。经过了解, 该数据库商认为西安工程大学存在恶意下载行为, 因此封锁
9、全校的 IP, 致使本校师生连续多天无法正常使用数据库。该数据库商向学校提供了详细的下载日志, 要求予以处理, 查出恶意下载用户。由于篇幅有限, 仅节选部分下载日志, 见图 2 所示。图 2 部分下载日志节选 下载原图从节选日志来看, 该校确实在短时间内下载了大量电信学科的 PDF 文献。其下载量大、频率高、主题相近、文献类型也一致, 确实具有恶意下载的特征。3.2 处理办法针对这种情况, 学校图书馆立刻进行以下处理: (1) 跟数据库商协商, 尽快开通数据库使用权。很多数据库价格昂贵, IP 被封一天损失很大, 且容易造成师生的不满。并且承诺尽快查明情况, 找出恶意下载用户; (2) 向网络
10、中心申请, 希望网络中心通过访问记录查出恶意下载的用户。但是本校的实际情况是:本校共有 4000 多师生, 网络中心租用了一条 500 兆电信宽带供全校师生访问外网, 该线路唯一对应着一个真实 IP 地址供用户使用。校园内部, 师生所使用的均为内部 IP 地址, 访问外网时再将内部 IP 地址转化为这个唯一的电信 IP 地址。网络中心认为, 4000 多并发, 下载量高属于正常现象, 无法说明存在恶意下载, 班级实验课并发用户多也是可能的。而且, 每秒中通过网络中心的访问量高达几个 T, 对如此海量的数据进行分析, 非常困难, 如果没有准确的信息, 仅凭一个目的 IP 地址, 很难判断哪个用户
11、有恶意下载行为, 工作量非常大。因此, 无法通过网络中心来查找恶意下载用户。一方面来自数据库的违约压力, 另一方面网络中心对恶意下载用户的查找也无从下手, 图书馆在这种情况下往往进退两难。经过对下载日志的仔细研究, 笔者发现很多疑点:很多文章被重复下载了。一般来讲, 下载工具都具有断点支持的功能, 即使因各种原因中断, 也可以从中断的位置继续下载, 而不会出重复下载的情况。笔者要求数据库厂商提供了一份更加详细的日志文件, 在新的日志文件中, 发现了一个至关重要的字段会话 ID。利用会话 ID 对日志进行分析, 能够快速查明真相, 有效判断恶意下载问题。最终证明本校并无恶意下载情况, 属于 IP
12、 误封。4 利用会话 ID 处理恶意下载4.1 什么是会话 ID会话 ID 是唯一标识当前访问服务器的客户的只读值, 只要网站上客户保持在活动状态, 会话 ID 就会受到服务器的维持会不发生变化。和 IP 地址的作用不用, 在下载日志中, IP 地址记录了不同用户的操作, 而会话 ID 记录的是用户一次登录后的所有操作, 但是并不清楚是哪个用户登录的, 用户每登陆一次就会得到唯一的一个会话 ID。4.2 用会话 ID 判断是否存在恶意下载既然会话 ID 记录了一次完整的从登陆到退出的交互过程, 这就意味着一个用户进行登陆后的所有操作, 都是对应着一个会话 ID。利用会话 ID, 对日志文件进行
13、排序, 就能清楚的看到每个用户的操作行为。如图 3 所示:按照会话 ID 字段对数据库商提供的下载日志重新排序, 结果显示, 确实不存在违规操作的行为。图 3 中, 每个会话所下载的论文不超过 30 篇 (部分数据未摘录) , 下载的时隙在 5 秒到十几分钟之间。通常是下载多篇文章后, 中断一段时间, 再集中下载数篇文章。这与大家在使用数据库时先查询、后下载, 然后再查询、再下载的行为十分吻合, 并不存在违规操作。下载密度高, 主题相近的现象, 确实是由于布置了新课题, 多名同学并发使用造成的。通过会话 ID 对日志进行分析, IP 误封事件就能够快捷、迅速的查清。图 4 按会话 ID 排序后
14、的过量下载的日志文件 (省去 IP 地址) 下载原图4.3 用会话 ID 快速定位恶意下载记录会话 ID 不仅能够判断是否存在恶意下载, 且当确实存在恶意下载时, 也能准确定位恶意下载的记录。同样用一个本校所发生的实际例子, 将下载日志按照会话 ID 排序后, 发现一名过量下载的用户, 其在较短时间内下载文献共 90 篇。经过分析, 该用户在 8min 内下载文献 30 多篇, 平均每分钟约 4 篇。从下载时间间隔来看, 最小时间间隔 2s, 普遍时间间隔 5s20s, 最长达到 3min 多钟。而且也多次出现重复下载现象, 很可能是点击下载按钮后, 下载页面没有立即弹出, 用户误以为没有下载
15、成功而进行了重复下载。从下载速度, 下载间隔或者误操作来看, 都非常符合正常下载的特点。说明该用户并未使用下载工具进行下载, 但是其下载数量过大, 应属于过度下载, 也违反了数据库的要求。如果想找出这位用户, 可以在日志中随意抽取一条记录, 该记录的时间准确到了毫秒级, 再结合其目的地址 (数据库商的 IP) 。网络中心可以在服务器的访问日志中, 非常准确的定位该记录, 并查询出该记录所映射的内部 IP 地址, 最终找到该 IP 地址的拥有者。由此可见, 利用会话 ID 可以准确定位具有违规操作的下载记录, 让网络中心有的放矢, 快速找出违规用户。4.4 用会话 ID 判断恶意下载的优点当被告
16、知存在恶意下载、IP 被封时, 图书馆往往自觉理亏, 但其实数据库方也可能存在判断失误。今后若再遇到同类情况, 图书馆员可以先行利用会话 ID 进行分析, 避免盲目处理。利用会话 ID 来判断恶意下载的优点在于: (1) 图书馆员可自行判断是否存在恶意下载等违规操作, 无需专业背景。 (2) 若存在违规操作, 可通过会话 ID 快速定位下载记录, 极大的降低网络中心排查的工作量; (3) 准确定位不当下载记录, 便于向网络中心寻求帮助。图书馆员若不先行判断, 完全依赖网络中心排查, 很有可能费劲周折而查不出结果。那么日后再向网络中心寻求同样的帮助, 可能就会非常困难。图书馆只能定位日志, 无法
17、把日志对应的 IP 地址找出来, 查找恶意下载的用户最终还是要通过网络中心才能实现。因此, 在寻求网络中心的帮助之前, 建议图书馆员首先应自行判断一下, 避免盲目求助。5 结束语保护知识产权, 合理利用文献, 读者、图书馆、数据库提供商三方均有义务, 并非学校图书馆单方面责任。培养读者的良好的数据库使用习惯并非一朝一夕之事, 数据库提供商请勿动辄封锁 IP。合理利用文献, 使高校图书馆能够更好地为读者服务, 最大限度地维护数据库提供商和高校图书馆的利益, 需要大家共同努力。参考文献1清华大学违反使用电子资源的处理情况BE/OL.http:/ 2011-10-12. 2王应解, 晏凌.高校图书馆
18、如何防范恶意下载J.大学图书情报学刊, 2003, 21 (4) :4950. 3邹荣.电子资源访问管理与控制系统的设计及应用J.图书情报工作, 2010, 54 (4) :121124. 4时彤, 郭青, 冯佳, 王拥军, 等.高校图书馆电子资源恶意下载现状及对策J.医学信息学杂志, 2011, (4) :6365. 5余献平.基于 Snort 的高校图书馆恶意下载检测系统的设计与实现D.北京:北京邮电大学, 2010. 6窦淑庆.图书馆入侵检测系统的研究实现J.现代情报, 2009, (2) :161163. 8陈默.数字文献资源下载流量统计与监控系统研究J.计算机安全, 2010, (5) :5960. 9NATBE/OL.http:/ 2014-10-02.
