1、 URL 过滤白皮书 拦截现代网络威胁 数据云 URL 过滤技术（ Data Cloud URL Filtering） 第 2，共 11 页 目录 URL 过滤白皮书 1 主要内容 3 简介 . 3 URL 过滤技术发展历程 . 4 早期的 URL 过滤技术 . 4 现代 URL 过滤技术 5 数据云 URL 过滤技术 . 6 数据云 URL 过滤技术与传统 URL 过滤技术对比 . 7 存储库大小影响准确率与覆盖率 . 7 专业安全技术的应用 . 7 本地化更新 . 8 对比结论 8 数据云技术构成要素 8 庞大的数据资源网络 . 9 数据挖掘能力 . 9 专业安全技术 . 9 Gl
2、obalViewTM URL 过滤技术 . 10 运行机制 10 图表目录 图 1：数据库 URL 过滤技术结构图 5 图 2：数据云 URL 过滤技术结构图 7 图 3：当今互联网环境中的 URL 过滤技术对比 8 主要内容 Internet 的广泛运用为家庭和商业网络带来了新威胁。 URL 过滤技术最初用于主机控制、提高协调性与生产率，如今已经开始成为拦截网络威胁的额外防护层。然而，至今仍被广泛运用的早期 URL 过滤技术因基于黑 /白名单、本地数据库和智能技术而开发，其技术局限已无法赶上当今快速发展的新式威胁。本白皮书介绍一种称为 “数据云技术 ”的新型 URL过滤技术 ,能够克服旧
3、版技术的缺陷，提供对日益增长的网络威胁的必要防护。 简介 网络已成为人们生活与工作中必不可少的部分。 但是数据的大规模增长伴随着网络用户人数的增加，带来各种在生产率、协调性和安全方面的隐患。 家庭网络如果不得到合理使用与监控，将极易成为危险的工具，以色情、淫秽、邪恶、暴力等形式侵害孩子的健康。 在商业领域里，企业必须防止因员工不正当网络行为引发的法律责任，而依靠使用者自我约束的网络使用制度已无法实现这些目标。随着企业员工人数不断增加，更多大带宽量应用（如流媒体）的使用，企业生产率正面临带宽使用极限、网络潜伏性甚至网络停用的威胁。大规模网络也成为黑客的最佳袭击手段， 安全风险因而成为家庭网络和商
4、业网络面临的重大问题之一。 袭击者正寻找越来越复杂的方式利用网络进行袭击行为，如向正规网站或不正规网站（含黄色网站）发布恶意软件。工业分析机构 Gartner 指出， 2008 年第一季度， 50%以上的正规网站曾遭到黑客袭击，这表明高度精确地识别与拦截恶意网站意义重大。 URL 过滤技术最早应用于保护网页浏览，防止员工进行将会影响工作效率的不恰当上网行为。如今， URL 过滤技术作为额外的保护层，正被添加到安全库中。 URL 过滤技术正与网关防火墙、防病毒技术和入侵防御技术，成为多层面技术中的关键部分。 Gartner表示，网络威胁环境在过去的三年里经历了巨大的发展，而大多数企业仍在使用十年
5、前的防御技术，存在着严重的商业、法律与安全风险。 不同的 URL 过滤技术分析网站方法各有不同。当今的网站更具多样性， Web2.0 和社交网站的使用导致出现各种媒介与内容集中在单个网站上的情况。这种情况下，恶意网站很容易隐藏在子域名中，或潜伏在合法的域名中，如 Microsoft 的 和Facebook。 网络运用伴随着网络威胁实时发生，企业需要新一代 URL 过滤技术来应对 Web2.0 版本中越发复杂和快速转移的威胁。 第 4，共 11 页 URL 过滤技术发展历程 要了解 URL 过滤技术的实施情况，首先必须了解 URL 过滤的主要流程。以下图表显示分类、储存与过滤的过程： 每个
6、 URL 过滤技术组成部分的不同实施方式都会极大影响系统的整体结构、性能与准确率。 早期的 URL 过滤技术 20世纪 90 年代中期， URL 过滤技术根据黑名单（禁止访问）和白名单（允许访问）控制网站访问。良性与恶性网站的分类与整理工作是由每个机构的 IT 部门本地化进行的。多数情况下，名单由中央服务器产生后，经过滤存储于每位客户的网站上。但是，这种做法存在许多缺陷。 不准确的网站分类导致一些合法网站被拦截，而一些非法网站却被允许通过。网站分类是一项资源密集型工作，需要 IT 部门频繁更新与编辑网站名单。这种基于名单的 URL 过滤技术局限于只过滤已知网站，却无法识别与处理新出现的还未被解
7、析的网站。随着网络的发展和网络威胁数量与复杂度的激增， 白 /黑名单方法已经无法成为机构有效的网站过滤解决方案。 20世纪 90 年代末期， URL 过滤技术开始结合本地数据库使用分类引擎。分类引擎设置在远程位置（如“云中” ） ，而不是企业内网中。这种技术至今仍被作为标准的 URL 过滤技术结构广泛运用。运用这种技术， URL 及其内容被分析并归类到储存于中央数据库的预许多企业还在继续使用十年前的技术 。 - Gartner 第 5，共 11 页 设类别（如色情网站、求职网站、体育网站等） ，然后批量上传至每个本地用户的数据库。与黑 /白名单技术不同的是，这种技术不进行分散收集，而是采用
8、中央分类引擎为每个机构添加实施细粒策略。 这一代 URL 过滤技术在提供比旧版本更多深度的同时，由于本地数据库的限制，无法实现更广泛的覆盖率和深度的网站分类。而这种缺陷随着网站越发多变与复杂，更加影响了系统的准确性。 图 1：数据库 URL 过滤结构图 现代 URL 过滤技术 21世纪初， URL 过滤技术开始采用动态引擎分析飞速增加与变化的网页内容与网站信息。这些智能引擎通过分析网站文本反映网站类别的概率来决定是否屏蔽该网站。智能引擎尝试弥补数据库方法中“一刀切”和容量有限的问题： 。 要实现在不影响用户使用的情况下分析网站，智能引擎就必须具备高速的运作能力。但与云技术的分类不同， 智能引擎
9、的分类通常在桌面或应用上进行， 因此只能利用有限的资源。由于时间与资源限制，这些引擎仍然无法对内容和语境同时进行深度分析，从而无法应对高度复杂的 Web2.0 环境。而且，这些引擎可能影响机构的运作效率，甚至因堵截合法网站，放行恶意网站内容而破坏安全策略。 由于智能技术发展还不稳定，智能引擎通常与更旧却也更稳定的数据库技术结合使用。第 6，共 11 页 当数据库技术采用智能引擎，其功能就只能局限于特定的分类工作，因此还有待更具深度与成熟度的技术来解决数据库建立流程。 虽然两种技术的结合使用取得比单独使用时更多的效果， 但仍存在其他缺陷。 总体来说，这种数据库与智能过滤引擎结合使用无法取得太
10、高的准确率与性能。 数据云 URL 过滤技术 网络几乎是一个不定数据的庞大集合体。据 Google 调查，互联网上的网页以每天一亿个的速度极速增长。互联网规模庞大，而每个用户的需求却独特且具体， 数据库技术与智能引擎技术因其设备与技术局限， 无法满足用户的需求。这时，研究人员创新并有效地将本地数据库转移到云技术中。 这种更灵活、 更全面、更精确的 URL 过滤技术称为“数据云 URL过滤技术” 。 数据云 URL 过滤技术不需要依赖已有数据库的有限资源执行分析与检测， 也不用依赖数据库更新取得最新信息。数据云 URL 过滤技术的数据库本身就存在于云系统中，因而能够利用庞大的数据进行威胁监测、分
11、析与防御。 数据云从根本上说就是一个近乎不定型的密集数据库。 传统数据库只存储用户需要的数据，而数据云 URL 过滤技术的大规模计算能力和存储能力能够存储所有相关及最新数据，以执行快速和准确的监测。因此数据云技术克服了早期版本的许多遗留问题。 传统 URL过滤技术无法同时实现对内容和语境的深度分析，从而无法应对高度复杂的 Web2.0 环境。 第 7，共 11 页 图 2：数据云 URL 过滤技术结构图 数据云 URL 过滤技术与传统 URL 过滤技术对比 存储库大小影响准确率与覆盖率 数据云技术的创新之处在于其独特的存储流程，无限的本地存储力，允许 URL 过滤技术集中实现高准确率与覆盖
12、率。 注意，在传统的数据库 URL 过滤技术中，分类也是在云中完成的，但这与数据云 URL过滤技术系统存在巨大的差别。一个本地数据库可以容纳几百万个分类网站和上亿个网页，但这只是互联网中的一小部分，因此可能发生遗失某些重要信息的情况。数据库的大小决定过滤的准确率与完整性高低。每添加一个新网站，就可能遗失一些已有数据。 例如，像 这样的流行博客网站可能包含 2 亿以上的网页，每个网页被归为特定类别，如科学、两性、甚至政治。数据库中总共有 2 亿个具有唯一性的词条。当无法在单独的网站上过滤 2 亿个不同词条， 数据库 URL 过滤技术就会自动开启模糊匹配功能，将词条归类为最相近的类别，如 “博客
13、 ”或 “电脑 ”，因而可能造成合法网站被拦截，非法网站被许可的情况发生。 此外，数据库 URL 过滤技术忽略了个人用户和机构用户的具体需求，为所有用户提供同样的站点与全球分类。考虑到不同机构在行为、文化、地理和专业领域方面的差别，这项技术必须在覆盖率上做出让步。 即使与智能引擎结合部署，数据库 URL 过滤技术仍存在功能局限。尝试在资源有限、性能问题与潜在因素的前提下采用智能引擎评估 URL 的类别，将会削弱分类的准确率。这表明在混合型技术中，智能引擎无法作为数据库 URL 过滤技术的补充层面协助分类数据库缺少的访问请求，相反，智能引擎使用频率小，而且只针对已精确定义的分类任务。 另一方面，
14、数据云 URL 过滤技术没有本地存储上限， 从而能将所有用户需要的网页存储于云系统中， 个人本地储存库只存储其需要的网页。在上例中，所有的 2 亿网页都能存储在数据云中， 而每位用户根据其特定的浏览行为和需求只存储自己需要的子信息。 专业安全技术的应用 URL 过滤技术是整体安全结构的重要组成部分，正确认识这一点对监测与防御网页威胁至关重要。但是，早期 URL 过滤技术的设计缺陷无法实现快速而准确的威胁优先级排列，并且无法接触及时更新的安全资源。随着网页新威胁快速的出现与升级，这项缺陷严重影响了传统 URL 过滤技术的效率。 数据库的大小决定过滤的精确率与完整性高低； 新网站的增加将导致已有数
15、据的丢失。 第 8，共 11 页 另一方面，数据云 URL 过滤技术能够利用云系统中广泛的专业安全技术，如零小时恶意软件模式、 zombie 程序数据和网络钓鱼。云系统持续跟进最新威胁更新，快速、有效的将潜在威胁归类到核心安全类别中，如被感染站点、恶意软件和网络钓鱼。保留数据云中的分类能够让所有用户，无论在置身何处都能从威胁分析与识别中受益。 本地化更新 数据库更新是数据云系统区别于传统 URL 过滤技术的另一个关键点。 为取得最新信息，数据库 URL 过滤技术系统必须进行大量费时的更新工作。网络威胁数量正大幅度增长，呈现出多变且生命周期短的特点，如网络钓鱼网站通常不超过 24 小时，因而
16、依赖定期更新的数据库 URL 过滤技术无法保持最新的信息。而且，每一个更新都可能引起大批不相关数据，影响系统与网络资源效率。 数据云 URL 过滤技术无需进行累赘的更新工作，因为它只对本地存储库中未有的信息进行实时访问，从数据云中获取精确的相关信息。因此，这项技术避免了传统 URL 过滤技术中的数据繁冗问题，精确而高效地为用户提供所需数据。 对比结论 大多数的 URL 过滤技术在使用之初均足以使用， 却无法应对不断变化的网络威胁环境。以下图表总结了每项技术在当今多变的互联网环境中测试后呈现的优缺点。 图 3：当今互联网环境中的 URL 过滤技术对比 数据云技术构成要素 实施数据云 URL 过滤
17、技术并不只是指将数据库存入远程位置，而是需要不同的结构、不同的分析方法和不同的专业知识来实现其全面的优势。以下是高效实施数据云 URL 过滤技术的三大重要方面：庞大的数据资源网络、数据挖掘能力和专业安全知识。 第 9，共 11 页 庞大的数据资源网络 互联网规模庞大而高度复杂， 人们无法从中轻松获取足够的专业知识以应对任何可能发生的网络威胁。因此，从多方面专业资源和专业工具中获得真正准确的信息对数据云 URL过滤技术尤为重要。 黑客们正频繁的利用信息软件与网络协议进行恶意活动，或利用垃圾邮件发布网络钓鱼，或向电脑感染恶意站点。因此，数据云过滤技术必须具备收集并分析大量数据的能力， 才能更好
18、的检测最新威胁。 个人用户和企业用户的网络行为是 URL 过滤技术宝贵的信息来源。这些资源没有数量上限，通过分析和处理每个访问请求，可以识别网络行为的世界最新流行趋势。例如，恶意软件作者通常会增加受感染网站的流量，因此一旦网站流量出现激增，就应分析其是否存在潜在威胁。 零小时恶意软件也是一个关注点。有些专业防病毒厂商掌握着恶意软件变体识别技术，数据云 URL 过滤技术就可以进行双赢的利用。 URL 过滤技术可以提供最新的变体，而防病毒厂商负责发布恶意软件黑名单。 这种分享式的分析需要一个跨协议且跨企业的详细信息交易体系来执行。 数据挖掘能力 由于供分析与处理的数据几乎不定型，数据云 URL 过
19、滤技术需要具备精确而全面的数据挖掘能力。 这项在几秒钟内即可从各种大量数据资源中提取出模式与威胁的能力是数据云URL 过滤技术最重要的特色之一。 跨越不同的数据资源识别最新模式与威胁是 URL 过滤技术数据挖掘能力的重要组成部分。这需要一个特殊技术结构来完成。这个结构能整合各部分，将一个引擎的分析结果提供给另一个引擎进行再次分析，以便从已有的数据中获取更大的价值。例如，大多数的网络钓鱼和恶意软件都是通过电子邮件发布的，因此向 URL 引擎提交这些数据就能实现零小时攻击防御。这样，数 URL 过滤技术就能实时识别与掘取新式威胁。从不同协议，甚至外部网络收集数据资源后，数据云 URL 过滤技术就能
20、提供 360 度的全方位威胁库。 专业安全技术 网络威胁数量的迅速增加正向人们敲响警钟。据 Gartner 表示，威胁环境将随着袭击者的专业化和可用恶意软件工具的持续增多继续极速升级。因此， Gartner 呼吁各企业改变防御战略，否则将加大商业风险，扩大损失。 最早的 URL 过滤技术原用于提高生产率和拦截不恰当内容，并不用于网络安全。但当从多方面的专业资源和专业工具中获得真正准确的信息对数据云 URL 过滤技术尤为重要。 第 10，共 11 页 今的网络威胁要求 URL 过滤技术必须增加安全技术，以检测现有的甚至即将出现的互联网威胁。数据云 URL 过滤技术持续不断的分析着几百万的数据
21、。一旦缺乏这项工作，非法人员将很可能窃取用户的重要信息。 GlobalViewTM URL 过滤技术 Commtouch GlobalViewTMURL 过滤技术采用 Commtouch 数据云技术，为用户提供最精确、最新的数据分析与分类，为安全产品厂商和服务提供商提供新的产品功能。 利用云系统中的浩瀚数据， Commtouch GlobalViewTMURL 过滤技术得以在几秒钟内从各种繁多的数据中掘取威胁模式与威胁种类。基于知名的安全技术， Commtouch 携其众多全球安全联盟伙伴为用户提供及时而详细的信息，涵盖反间谍软件、反网络钓鱼、反色情图片、网站排行技术和搜索引擎模式分析等领域。
22、访问信息一旦出现，就被存储于数据云系统中做后续参考。数据的实时更新让用户在任何时间、任何地点都能获得极其详细的数据分析与分类。 运行机制 当用户做出浏览行为， Commtouch URL 过滤技术将在几微秒内向本地存储库询问信息。若发现相关分类，就对该 URL 全部或部分信息进行阻止或放行。如果本地存储库中不存在该信息，它将迅速向 Commtouch 数据云系统发送请求，接收最新、最相关的和最精确的分类，并将副本存储于本地存储库中。数据云系统用户形成一个实质用户社区，已被社区用户浏览过的流行站点将被分类并存储，方便下一位用户访问。这种用户互动保证了数据云系统保持不断的更新与扩展。 对于将来类似
23、的访问，用户将直接从本地存储库中获得访问结果。用户和机构总是趋向于重复使用许多同样的网站，存储库在获得该用户特定的访问需求时，将智能的建立搜索需求记录。如果用户发出未经分类的浏览请求，则不需要访问数据云系统。 Commtouch 数据云系统允许上亿人员同时访问，所有数据将不断添加到知识库中。数据云系统中庞大的用户数据资源共享为企业提供更全面、更细致、更精确的过滤数据。 Commtouch 数据云系统在数据挖掘和数据监测引擎的基础上形成。数据云系统为 Commtouch URL 过滤技术提供几百万个数据，分为 64 个类别，使注册用户能够精确地拦截或许可特定的 URL. Globalview U
24、RL 过滤技术的类别中，有 10 种是关于安全问题。这种深度的细粒策略让 GlobalView URL 过滤技术提供涵盖已知受感染网站、已知垃圾网站、恶意软件网站和其他正出现的 Web2.0 威胁。 Commtouch URL 过滤技术同时采用传统的内容过滤软件，如家庭网络父母控制软件、企业生产率与协调性提高软件等，为用户提供一个安全的网络环境，提高员工工作效率，保证企业协调性，并防御网络恶意软件和网络诈骗，去除不正当的音频与视频下载也将减小带宽占用。 数据云中广泛的资源共享帮助企业实现更全面，更细致和更、精确的过滤数据。 第 11，共 11 页 多年的安全行业经验结合行业领先技术， Co
25、mmtouch URL 过滤技术能够迅速而精确地处理大量网络流量并改进网络安全和管理。 Commtouch GlobalView URL 过滤技术是当前以及未来网络威胁防御的最佳选择。 关于 Commtouch Commtouch 软件有限公司（纳斯达克： CTCH）是一家全球性反垃圾邮件和反病毒零小时（ Zero-hour）防护解决方案的开发商和提供商，为上百家安全企业提供信息安全与网络安全技术，拥有独特的“云系统”技术。 Commtouch 专业致力于建立高效而大规模的安全服务，已开发专利技术为超过 100 个国家的上亿个人和企业用户提供网络威胁防御服务。 Commtouch 的全球监测中
26、心自动分析几十亿个实时交易数据， 识别新威胁。 Commtouch信息通讯与网络安全共同形成循环圈。 Commtouch 成立于 1991 年，总部设在以色列，尼坦亚。在加利福尼亚州森尼韦尔市设有子公司。了解更多信息与实时统计数据，请登陆 http:/ 或Commtouch 企业博客 http:/ - Recurrent Pattern Detection、 RPD、 Zero-Hour、 GlobalView、 Commtouch 为 Commtouch 公司注册商标，属美国 Commtouch 软件有限公司所有，专利号 No. 6,330,590。 关于 Anchiva 安启华系统（ An
27、chiva Systems）公司成立于 2005年，是 Web 安全网关的领先者，着眼于 Internet 应用安全领域，致力于高性能 Web 安全网关的研发，为企业提供整合反恶意软件、 URL 过滤、 Internet 应用控制、带宽管理、 Web 应用服务器内容保护等诸多功能的 Anchiva 系列 Web 安全网关（ Anchiva SWG） ，帮助企业防御网络威胁，加强信息安全管理，提高生产效率。 Anchiva 拥有自己的 RapidRx 防病毒实验室， 由经验丰富的病毒分析家和研究员组成，他们战略性的分布在美国， 欧洲以及大中国区， 负责采集恶意代码样本， 搭建自动升级网络。Anchiva SWG 内置 200多万的 Malware 特征库，特征库容量、覆盖率在业界遥遥领先。RapidRx 实验室提供 24小时不间断的升级服务，同时具有启发式扫描技术，确保用户网络随时处在最新技术的保护下。 Anchiva SWG 产品线分为高、中、低多个型号，覆盖用户由 100人到 10000人，为众多行业提供解决方案，客户覆盖金融、政府、运营商、医疗、制造、科技、零售和教育等行业。
