中国空间站朋友圈,一个网站的优化怎么做,宁波自助建站系统,wordpress 百科插件文章目录 网络流量应用识别技术背景应用识别基本原理应用识别主流技术方向特征识别技术单报文解析流特征解析 关联识别技术DNS关联识别 行为识别技术 应用识别框架介绍应用特征提取经验tcpdump 抓包方式默认启动监视指定网络接口的数据包监视指定主机的数据包 禁用特征提取加速… 文章目录 网络流量应用识别技术背景应用识别基本原理应用识别主流技术方向特征识别技术单报文解析流特征解析 关联识别技术DNS关联识别 行为识别技术 应用识别框架介绍应用特征提取经验tcpdump 抓包方式默认启动监视指定网络接口的数据包监视指定主机的数据包 禁用特征提取加速特征提取在线时长特征提取 网络流量应用识别技术
背景
儿童上网保护和智能QOS功能作为路由器常见的两个功能对于应用流量识别的准确度和识别效率具有很高的要求原有识别框架总体是基于openwrt的oaf框架以及iptables的部分识别如图所示 该框架存在以下几个问题
1 解包路径冗余儿童上网保护与智能QOS以及大量的iptable规则解包流程多次重复导致解析效率降低代码难以维护。
2与设备强耦合。针对单一报文特征进行解析对于复杂的特征现有框架单一描述。
应用识别基本原理
应用流量识别的基本原理是在网络报文的netfilter的链中挂上钩子在钩子中对报文进行解析然后与应用特征进行对比如果对比成功则做出相应动作。
下图是linux netfilter在网络层的实现细节: netfilter在网络层安装了5个钩子对应5个链还可以通过编写内核模块来扩展这5个链的功能。
五个链chain及对应钩子 PREROUTING -- NF_INET_PRE_ROUTING
INPUT -- NF_INET_LOCAL_IN
FORWARD -- NF_INET_FORWARD
OUTPUT– NF_INET_LOCAL_OUT
POSTROUTING -- NF_INET_POST_ROUTING
挂载点解析
PRE_ROUTING路由前。数据包进入IP层后但还没有对数据包进行路由判定前。
LOCAL_IN进入本地。对数据包进行路由判定后如果数据包是发送给本地的在上送数据包给上层协议前。
FORWARD转发。对数据包进行路由判定后如果数据包不是发送给本地的在转发数据包出去前。
LOCAL_OUT本地输出。对于输出的数据包在没有对数据包进行路由判定前。
POST_ROUTING路由后。对于输出的数据包在对数据包进行路由判定后。
路由判定
从上图可以看出路由判定是数据流向的关键点。
第一个路由判定通过查找输入数据包IP头部 的目的IP地址 是否为本机的IP地址如果是本机的IP地址说明数据是发送给本机的。否则说明数据包是发送给其他主机经过本机只是进行中转。
第二个路由判定根据输出数据包IP头部 的目的IP地址 从路由表中查找对应的路由信息然后根据路由信息获取下一跳主机或网关的IP地址然后进行数据传输。
数据包流向 从图中可以看到三个方向的数据包需要经过的钩子节点不完全相同
发往本地NF_INET_PRE_ROUTING --NF_INET_LOCAL_IN
转发NF_INET_PRE_ROUTING --NF_INET_FORWARD --NF_INET_POST_ROUTING
本地发出NF_INET_LOCAL_OUT --NF_INET_POST_ROUTING
那么为了实现为了处理所有的报文应用识别的回调函数一定需要挂载在POST_ROUTING链上因为应用识别需要关注的是路由器转发以及自己发出的所有报文如果在PRE_ROUTING链上挂载那么路由器自己作为DNS服务器发出的DNS报文就没有办法解析所以为了解析所有报文应用识别报文需要放到POST_ROUTING上。
应用识别主流技术方向
特征识别技术
特征识别技术是业务感知应用识别最基本的技术手段它通过识别非加密报文中的特征信息来确定业务流量所对应的应用。不同的应用通常会采用不同的协议而不同的应用协议具有各自的特征这些特征可能是特定端口特定字符串或者特定比特序列。除了检测报文中的传统五元组信息外特征识别技术还会检测报文的应用层信息以获取更多的用于识别应用的特征。
此外某一些应用协议的特征并不会在单个报文中体现或者从单个报文仅仅存在弱特征要完整描述这个流则需要多个报文特征此时就需要对多个报文进行分析才可以识别出应用。 单报文解析
单报文解析目前常见的两种解析模式
1标准协议解析
目前支持HTTP,HTTPS,QUIC等标准协议的解析以及拼多多迅雷等私有协议的解析。典型特征报文虎牙禁用特征 上图是 单报文匹配中 通过URL禁用虎牙报文。
2特征序列解析
特征序列的匹配核心不在于五元组信息中而是在报文的有效载荷中对于大多的游戏数据报文都会采用私有协议这种协议特征明显体现在报文载荷存在固定的格式可以以此作为该应用的报文特征。 典型报文特征 王者荣耀1号加速特征 流特征解析
基于单报文的特征识别在特征序列长度不够时可能存在误判情况会发送误判于是需要综合一条流上的多个序列特征来判断。所以基于快照表项来完成多特征匹配。如下图所示当报文进入会首先判断报文是否以及加入候选快照表项中如果不存在才会进行匹配如果匹配上就会将这条流加入候选快照链表中。当全部匹配完成后就会将这条流从候选快照表项取出放入快照表项。当后续这条流再次进入就可以直接判定 典型报文特征 腾讯通用1号加速特征
关联识别技术
关联识别技术主要用于识别多通道协议的应用。
采用多通道协议传输语音视频和文件的应用越来越多。多通道协议的控制通道和数据通道是分开的如FTP,SIP,H323这些协议通过控制通道协商用来建立数据通道的通信参数如端口信息等通过数据通道传输具体的业务数据。特征识别技术可以识别出控制通道的应用与非加密的数据通道的应用但是对于加密数据通道是没有很好的办法的。
关联识别技术的前提依然是特征识别首先通过特征识别技术识别出控制通道报文承载的应用同时从控制通道报文中提取数据通道信息并记录在应用识别关联表中后续通过关联表识别出数据通道报文并标记位相应的应用从而实现对于多通道协议报文的应用识别。 DNS关联识别
DNS 关联识别主要是提取DNS回包中的信息来进行IP与APP之间绑定。通过解析DNS协议中的URL字段匹配到具体的应用再将所有返回的IP放入快照表之后与这些IP的通信的时候就可以完成应用识别。
典型报文特征穿越火线禁用特征 如图当检测到带有ap6.ssl.msdk.qq.com的DNS会话就将该会话中解析出的IP加入禁用快照则可以完成穿越火线的禁用。
行为识别技术
互联网上还有一些更为复杂的应用很难更具特征关键字作为识别的特征还有很多应用的通信时加密的数据加密将导致特征模糊化而无法识别。已有特征识别技术无法基于常规特征识别出这些复杂应用而行为识别技术通过提取报文的行为特征来识别出报文承载的应用不同的应用可以利用的行为特征不尽相同。要准备识别一个应用必须抓取海量的流量样本分析提取出独特的行为特征。
通过上下行流量比例、报文发送频率、报文长度变化规律等都是可以利用的行为特征。行为识别技术通过综合考察和选择多种行为指标特征指标实现精准的应用识别。
应用识别框架介绍
针对上述问题我们新框架需要完成以下几个重要的功能点
1报文解析流程设备无关化
2输出报文解析统计数据
3流量重放
整体应用识别框架可以分为三个部分
1报文解析引擎负责报文解析匹配输入skb输出flow_infoflow_info中包含匹配到的应用信息特征库序号以及smac.然后基于次应用识别引擎开发跨平台报文分析工具支持流量重放分析。
2策略执行器根据报文解析引擎返回的结果对报文进行相关处理DROP 或者 MARK
3用户态接口解密解析用户态特征库文件然后通过接口将特征加载到内核态以及设置禁用信息设置加速模式接口。 新框架具有以下几个优点
解析路径统一只挂一个HOOK点提高解析效率增强代码可维护性。支持流量回放提升新协议开发与app适配效率。支持流量信息分析统计输出统计信息便于调试。基于流特征的信息匹配可以匹配更加复杂的特征。采用快照缓存机制提升报文转发效率。
经过比较采用新框架的情况下整体转发性能提升40%以上。 应用特征提取经验
tcpdump 抓包方式
用简单的话来定义tcpdump就是dump the traffic on a network根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
默认启动
tcpdump
普通情况下直接启动tcpdump将监视第一个网络接口上所有流过的数据包。
监视指定网络接口的数据包
tcpdump -i eth1如果不指定网卡默认tcpdump只会监视第一个网络接口一般是eth0下面的例子都没有指定网络接口。
监视指定主机的数据包
打印所有进入或离开sundown的数据包.
tcpdump host sundown也可以指定ip,例如截获所有210.27.48.1 的主机收到的和发出的所有的数据包
tcpdump host 210.27.48.1打印helios 与 hot 或者与 ace 之间通信的数据包
tcpdump host helios and \( hot or ace \)截获主机210.27.48.1 和主机210.27.48.2 或210.27.48.3的通信
tcpdump host 210.27.48.1 and \ (210.27.48.2 or 210.27.48.3 \)打印ace与任何其他主机之间通信的IP 数据包, 但不包括与helios之间的数据包.
tcpdump ip host ace and not helios如果想要获取主机210.27.48.1除了和主机210.27.48.2之外所有主机通信的ip包使用命令
tcpdump ip host 210.27.48.1 and ! 210.27.48.2截获主机hostname发送的所有数据
tcpdump -i eth0 src host hostname监视所有送到主机hostname的数据包
tcpdump -i eth0 dst host hostname监视指定主机和端口的数据包
如果想要获取主机210.27.48.1接收或发出的telnet包使用如下命令
tcpdump tcp port 23 and host 210.27.48.1对本机的udp 123 端口进行监视 123 为ntp的服务端口
tcpdump udp port 123所以抓包一般就是抓取指定网卡指定主机的包
比如要抓取连接WIFI设备IP为192.168.9.100的包 抓包命令为
tcpdump -i wl0.0 host 192.168.9.100
需要保存为pcap文件则命令为
tcpdump -i wl0.0 -w xxx.pcap host 192.168.9.100
禁用特征提取
禁用的特征提取关键在于提取应用打开的时候的关键报文特征完成识别后将相关的IP加入到快照列表中即可完成对于这个应用的禁用。
以小红书和王者荣耀的禁用为例
禁用最常见的特征是基于DNS特征禁用也就是需要抓取应用在打开与登陆阶段的DNS报文进行分析找出关键URL加入特征库进行测试。 分析小红书的dns报文发现大量出现xiaohongshu,xhscdn字段解析带这样URL的DNS然后将其中解析出的IP全部加入禁用快照中然后进行测试然后小红书的禁用就完成了。
王者荣耀是另外一种常见禁用特征
这种是基于报文内部特征进行的禁用需要挨个网络流进行分析找到特征明显的网络流然后进行禁用。 加速特征提取
加速特征关键需要抓取在游戏过程中的报文分析在游戏过程中占比较大的几种报文分析这些报文的特征然后进行标记。或者说找出这几条流建立基于的DNS报文然后将该IP对应的流加入队列也可以完成加速。
以王者荣耀为例
在王者荣耀对局的时候的报文进行统计学分析 几乎所有报文集中在123.151.69.28
追踪这条流 可以发现这条流的报文数据部分具有固定的协议特征提取该协议特征。其他几条流也差不多。
综合分析之后发现王者荣耀对局共有5条流特征包括两条 腾讯通用特征以及三条王者荣耀独有特征。所以可以将跟踪到的数量用来判断特征是否仍然有效。
对英雄联盟也用同样的方式进行分析 其主要分布在两个IP上追踪这两条流
一条是腾讯通用流量 特征是固定33 66 00 0b 一条是UDP数据流 这条数据流的IP经过分析是通过DNS协议解析出来的
所以来说一般的游戏加速特征提取也就是这两种通用的方式一种是游戏中的主要报文具有特定的格式需要分析出游戏中占主要部分的流量特征这条流需要时连续快速的另外一种时游戏全程和一个固定IP通信这种需要分析这个IP的来源一般是通过DNS获取的。
在线时长特征提取
一般而言在线时长特征可以复用禁用与加速特征如果不行再抓包分析。
