【A06】基于AI学习白流量过滤【深信服】

1. 命题方向

智能计算

2. 题目类别

应用类

3. 题目名称

基于AI学习白流量过滤

4. 背景说明

【整体背景】

随着互联网应用的不断丰富，网络中的应用层流量越来越多，越来越复杂，网络中不仅包括CDN内容分发，也包括P2P的流量，而传统安全设备在进行安全防御时，需要对全部流量进行安全检测，这种全流量检测模式是造成设备处理性能存在瓶颈问题的根本原因。全流量检测就是不管流量是不是攻击流量，都需要设备对其进行解包、还原、特征比对、跑行为沙箱等，极大的消耗了设备性能，而实际场景下，攻击流量不会超过全流量的千分之一，所以其实大量解包的动作是毫无价值的。因此，为了准确高效的对网络流量中的恶意和可疑流量进行检测，首先需要识别和过滤掉网络中大量的白流量。

【公司背景】

  深圳市深信服科技股份有限公司成立于2000年，是专注于网络安全与云计算领域，致力于为用户提供更简单、更安全、更有价值的创新IT解决方案服务商。先后获得了“CMMI5国际认证”、“第一批国家高新技术企业”、“国家规划布局内重点软件企业”“亚太地区德勤高科技高成长500强”等殊荣。同时，深信服还是IPSec VPN和SSL VPN两项国家标准的主要承建单位、并受邀参与制定《第二代防火墙标准》。在行业合作上，深信服是互联网应急中心应急服务支撑单位、国家信息安全漏洞共享平台CNVD成员单位、中国国家信息安全漏洞库CNNVD技术支撑单位和公共漏洞和暴露组织CVE认证合作单位。深信服的安全产品AF（WAF）、SIP，都是基于流量做检测的产品，都存在上述性能瓶颈。

【业务背景】

传统的网络安全建设方案，容易导致割裂的安全防御，无法协同作战，提供有效的整体安全防护，甚至导致安全运维复杂化。基于割裂的安全防御所产生的安全现状数据也将成为一座座安全孤岛，难以协同共享，导致碎片化的安全认知，只能看见碎片化的局部安全，无法形成统一的整体可视。深信服安全感知平台SIP，是一款面向通用行业的大数据安全分析产品，旨在为企业/单位/组织构建一套集检测、可视、响应于一体的安全大脑。SIP如果能过滤大量的白流量，在不丢失检测能力的前提下，性能得到大大提升，从而剩下的资源也可以部署更多更消耗资源的检测模块。

5. 项目说明

【问题说明】

以HTTP、DNS、视频流量为目标，目前互联网上的流量大部分都是HTTP、DNS、视频流量，如果能过滤掉绝大部分正常的HTTP、DNS、视频流量，则恶意流量检测的整体性能可以大大提升。对恶意流量的检测包括但不限于木马、DDoS、恶意爬虫等。

【用户期望】

算法能帮助快速分析出哪些流量是平常正常的业务流量，而哪些是可疑的流量需要引擎解解包、还原、特征比对、甚至跑沙箱等耗性能的工作。分析算法效率也要高，算法本身不能有很大的性能开销。

6. 任务要求

【开发说明】

需求：从海量的流量中学习出正常的业务流量，从而可以通过简单的方法（比如规则）过滤掉正常流量。

【技术要求与指标】

1）算法本身不能有很大的性能开销，要远远低于解包分析

2）要通过机器学习、深度学习等算法实现

3）加上白流量过滤功能之后，整体性能较全流量检测提升1倍以上，包括检测时间、检测占用CPU和内存。

【任务清单】

1）对数据深入分析，包括数据的类型、格式和交互特征等；

2）模型的概述与简介，对算法模型有充分的认识和理解；

3）模型的性能，包括解包分析和白流量过滤。

【提交材料】

（1）项目概要介绍；

（2）项目简介PPT；

（3）项目详细方案；

（4）项目演示视频；

（5）企业要求提交材料：

Ø 项目详细方案（与（3）内容合并提交），包括算法思路和对数据的认识、特征工程、使用的模型、训练和调优过程

Ø 算法思路及其效果展示

（6）团队自愿提交的其他补充材料。

【开发工具与数据接口】

开发工具：Python、Anaconda、TensorFlow

7. 参考信息

无

8. 评分要点

本赛题评分要点参考附件一：A类企业命题统一评分标准。