不良信息的智能识别与过滤

随着信息通信技术的迅速发展，网络信息安全问题日渐突出，特别是网上色情、暴力、反动等不良信息的传播和泛滥，严重地败坏了社会风气，极大地影响了广大青少年的健康成长，已经成为世界各国共同面对的难题和挑战。根据国际著名的Internet Filter Review的统计结果表明，目前全球大约有420万个色情网站，占所有网站总数的12％，互联网上色情网页超过了3.72亿个。另据中国互联网信息中心统计报告指出，至2006年6月，中国网民的总人数为12300万人，中小学生互联网渗透率达到15.4％，其中高中生已超过一半。网络色情对青少年的健康成长存在着极大的隐患，许多未成年人误入并沉溺于黄网，由浏览各种不良信息而引发的各种社会犯罪现象时有发生，而且呈上升趋势。近年来，国家有关部门大力开展网络反黄行动，引起了社会各界的强烈反响，但网络色情等不良信息依然难以杜绝，且Et渐呈现出更为隐蔽、普遍的迹象。如何抑制互联网不良内容的扩散，保证青少年健康上网是整个社会、学校、家庭所面临的亟待解决的问题。不良信息过滤是抑制互联网不良内容的扩散的一种有效途径。网络不良信息过滤，实质上是信息的二分类问题，是在对Web挖掘的过程中附加一些与探测、发现不良信息相关的条件，从而判断是否含有不良信息；如果存在不良信息，则对含有不良信息的页面进行处理，最后将处理后的结果返回给请求该Web页的用户。从海量的Web文档中识别出含有不良内容的信息并将其屏蔽，目前已经成为信息过滤中一个新的研究领域。与一般信息过滤相比，网络不良信息过滤具有以下特点：

1)       过滤的目标和对象明确且相对稳定；

2)       待过滤的内容常呈现出表现形式多样性、隐蔽性和多变性；

3)       样本分布不均衡，负面样本少。

目前国内外的各种不良网页过滤软件或系统，在网页信息鉴别上主要使用四种过滤技术，即基于因特网内容分级平台(P1CS)过滤、数据库过滤(IP库、URL库)、关键字过滤以及智能内容理解过滤。但实际上，不法分子是不会主动给其传播的不良信息内容按照PICS标准贴标签的，所以基于PICS过滤在实际应用中效果不大；数据库过滤方法对许多寄生在综合性网站内的不良信息无法过滤，对一些经常性地更改IP、URL，或采取多级代理方式的含有不良信息网站也无法过滤；基于关键字的不良信息过滤技术能获得较快的过滤速度，但往往不考虑上下文的关联性，漏报、错报率高，而且关键字是目前人们常使用的词，有些信息内容的发布者可能有意避开使用这些词，用其他的词或图片替代，使得基于关键词的信息过滤机制不能识别。对网页内容进行实时分析理解的智能内容理解过滤技术能动态地辨别文档的实际含义，可有效地克服前面三种方法的不足，获得较好的过滤性能。尽管目前的智能内容理解过滤技术也遇到了技术不成熟、计算量大、过滤速度慢等难题，特别是对于词语间无问隔标志的中文等，比词语间有间隔标志的英文等西方文字计算机语义分析起来更有难度，但其发展前景是巨大的。目前国内外在基于网络内容理解过滤方面均已开展了研究，并取得了一定的成果。本文主要针对当前网络不良信息过滤的关键技术进行分析研究和探讨。

九眼智能过滤系统是面向复杂文本大数据的内容智能过滤系统，可实时智能识别关键词音变、形变与拆字等常见变体，并实现了语义的精准排歧，系统内置了国内最新最全的知识库，适用于诈骗、传销、暴恐、色情、邪教胁迫、网络赌博、反伦理、假发票、语言暴力、垃圾广告等不良内容的智能过滤发现。九眼智能过滤系统充分融合了自然语言理解、人工智能、大数据分析等领域尖端技术，具有智能化、语义化、实时性三大特点，摆脱了低效地人工依赖过滤工作，转而成为高效智能的自动化过滤，其优势无可比拟。

想了解更多请访问http://www.lingjoin.com/sta/home/jiuyanzhinengguolv?id=9