备案名称和网站名称,扬州百度seo公司,青岛城乡建设部网站首页,石家庄企业网站建设价格导读
随着时代的发展#xff0c;近10年来位置产业蓬勃发展#xff0c;定位能力逐渐从低精度走向高精度#xff0c;从部分场景走向泛在定位。设备和场景的丰富#xff0c;使得定位技术和能力也不断的优化更新。定位能力包括GNSS、DR#xff08;航迹推算#xff09;、MM近10年来位置产业蓬勃发展定位能力逐渐从低精度走向高精度从部分场景走向泛在定位。设备和场景的丰富使得定位技术和能力也不断的优化更新。定位能力包括GNSS、DR航迹推算、MM地图匹配、视觉定位和网络定位等。
其中网络定位是通过客户端扫描到的WiFi和基站信息来进行定位的一种定位方式。网络定位能力是GNSS定位的有力补充在GNSS无法定位或者定位较慢的时候网络定位都可以快速给出位置。网络定位能力也是高德能够深植于各类手机厂商提供系统级网络定位能力和APP出行、社交、O2O、P2P、旅游、新闻、天气等诸多领域的原因之一。
要做到通过WiFi和基站来定位我们需要通过亿级数据来挖掘出WiFi和基站的类型、位置、指纹等各种信息。这些信息的挖掘历史上是通过一系列的人工经验策略来进行的人工规则的历史局限带来了所挖掘信息较低的准召率为了进一步提升高德网络定位能力我们需要卸下以往的包袱从方法上进行改变。
如何定义“网络定位”
网络定位分为离线训练和在线定位两个过程
离线训练是在用户有GPS位置时采集周边的WiFi和基站以下统称为AP信息通过对采集数据进行聚类和关联得到两类数据产品AP库和指纹库;
在线定位与离线训练的过程正好相反当用户没有GPS定位时可以通过扫描到的周边WiFi和基站信号结合离线训练出的AP库和指纹库来进行实时定位。
AP库和指纹库这两类数据产品中
指纹库以物理坐标位置对应的特征指纹信息为内容这些特征指纹信息可以包括扫描到的WiFi或者基站的信号强度分布采集点频次等统计信息也可以是通过神经网络提取出的特征信息。
AP库以WiFi的mac地址或者基站的IDgsm基站为mcc_mnc_lac_cidcdma基站为mcc_sid _bsid_nid 为主键以WiFi或者基站的物理坐标信息经纬度或者地理栅格坐标信息为内容。
典型的AP库数据只包含挖掘出的物理坐标信息和覆盖半径这种“点圆模型”是对AP发射信号的一种理想化没有考虑任何实际场景中的信号遮挡、反射等情况所以AP库大多用来进行粗略定位。而指纹库直接与位置相关可以刻画比“点圆模型”更细致的分布信息所以指纹库可以用来进行精细定位。 高德的指纹库主要包括特有的室内指纹和全场景指纹信息两种。
网络定位的问题
网络定位的基本思路类似聚类假设用户手机扫描到的AP列表中的AP的位置均比较固定则我们可以以这些AP位置为锚点来确定用户位置。现实世界中锚点即AP库中的AP的位置通过大数据来进行挖掘并不一定完全准确甚至出现严重错误。
针对WiFi而言移动WiFi、克隆WiFi、搬家WiFi等都可能造成AP位置的错误。移动WiFi包含手机热点4g移动路由器公交车/地铁/高铁上的WiFi热点等这些WiFi的移动属性较强位置频繁变化如下图所示。 如果以移动WiFi作为锚点因为这些锚点的位置不固定极可能会导致用户的定位出现极大误差。克隆WiFi指不同的WiFi设备使用了同一个mac地址国内的腾达和斐讯等路由器厂商制造了大量这样的WiFi设备例如大部分mac前缀为“c8:3a:35”的即为腾达的克隆WiFi克隆WiFi导致AP库中同一个mac地址对应的锚点位置有多个。搬家WiFi指某些因为搬家而发生位置变化的WiFi数据挖掘存在一定的滞后性搬家后AP库中的位置未及时更新也会造成定位错误。
因为大误差的badcase严重损害用户体验我们必须要将这些非固定WiFi的属性在AP库中标记出来。
历史上高德是通过一系列简单的人工规则对这些WiFi的属性进行分类的。例如通过采集点覆盖范围较大来判定移动WiFi通过mac前缀来判定克隆WiFi等。人工规则的缺点是准召率不高训练分类模型就成了一个自然的选择。
鉴于badcase中最严重的问题是移动WiFi的准召率不高下面我们就尝试使用监督学习的方法来进行“移动WiFi识别”。
如何实现“移动Wifi识别”
样本提取
AP库中的WiFi数量十分庞大如果我们在AP库中随机抽取样本进行人工标注那大部分标注的结果可能是人工规则判定正确的样本为了尽可能低成本获取有效的标注样本我们借鉴主动学习的思路不断抽取模糊样本进行标注快速迭代使得模型稳定。
我们根据人工规则的判定结果提取了一批确定性较高的样本使用人工强特征训练第一版模型之后将第一版模型的预测结果与线上人工规则的结果进行全量比较提取出模糊样本进行人工标注。在标注样本的过程中发现问题持续特征工程不断迭代模型。
这里模糊样本的定义包含三种预测结果与上一版模型的结果不同预测概率值在0.5附近预测结果在不同训练周期内存在波动例如昨天识别是移动WiFi今天识别是非移动。
特征提取
移动WiFi vs 克隆/搬家WiFi
第一版模型中我们使用了一些采集聚集程度相关的特征。 模型迭代过程中我们遇到的第一个问题是移动WiFi与克隆WiFi或搬家WiFi比较容易混淆。下面几幅图分别画出了固定WiFi、移动WiFi、克隆WiFi、搬家WiFi的定位点散布的实例。 可以看到如果仅仅使用定位点的聚集程度来分类那克隆WiFi和搬家WiFi的定位点也比较分散极易与移动WiFi混淆。所以我们先使用聚簇算法将采集点局部聚集的点集合成不同的簇在每个簇中计算定位点的散布程度再将所有簇的散布程度求平均值等获取平均意义上的聚集程度。
多维度提取特征
为了进一步提升分类的准召率我们不仅从定位点的聚集维度来提取特征还增加了信号强度、关联特征、IP特征、时间特征等以下进行简要介绍
信号强度信息和上节中的聚集特征一起统称为采集特征移动设备与非移动设备采集点的信号强度在去除设备差异性之后分布存在差异性。
关联特征关联信息是指当设备扫描到的一次WiFi列表中列表中所有WiFi两两之间就算产生了一次关联或称邻居关系统计WiFi周边关联的WiFi和基站信息可以描述出WiFi的移动属性。
IP特征固网IP和移动网的IP存在一定隔离移动WiFi设备的上游一般是通过基站连接的移动网固定WiFi设备的上游一般是通过ADSL等连接的固网。
时间特征固定WiFi一般是长时间连接电源的而移动WiFi一般是临时在某些地方和时间短暂出现的。
聚合特征
在AP库中存在一部分WiFi定位信息不够充分即使是人工标注也存在着非常大的不确定性这些定位信息不够充分的WiFi我们称之为“弱信息WiFi”。
对于这类WiFi我们只有通过ssid和mac前缀来进行辅助判断。因为ssid中包含了一些诸如“iPhone”、“个人热点”、“oppo”、“shouqiyueche”首汽约车、“往返免费”、“tp-link”等能够表明设备属性的信息。另一方面mac前缀mac信息的前半部分代表了厂商信息。基于这些辅助信息我们可以在其他信息不够充分的情况下辅助推测WiFi的类别属性。
我们将基础特征采集特征、关联特征、IP特征、时间特征中较为重要的TOP_N维特征按照ssid和mac前缀进行聚合聚合函数为中位数median和总体标准差stddev。这样聚合特征体现了一类WiFi共有的特征针对弱信息WiFi我们就可以通过集体的特征来推测出个体的属性。 应用场景
除了提升网络定位能力移动WiFi的识别还有更多用武之地例如手机热点的识别室内外的判断建筑物和POI级别的定位等等。其中一个例子就是判断当前设备所连接的WiFi是否为移动热点如4g路由器手机热点等在视频类的APP中可以通过判别当前用户连接的WiFi是否为移动热点从而控制是否进行视频的自动播放或缓存给予用户提示性信息。
小结
最终我们使用随机森林来训练分类模型经过特征选择和模型参数调整之后最终得到的模型移动WiFi的准召率均优于99.8%。高德网络定位的精度也因此得到了较大提升尾部大误差badcase降低了18%左右。
网络定位作为一种低功耗的定位手段不仅在GNSS无法触达的地区例如地铁、室内等场景为普通用户带来辅助的定位信息而且在某些急救和寻人的场景中发挥了重要的作用。未来随着5G通信技术的开展将迎来更加精准的网络定位能力。
原文链接 本文为云栖社区原创内容未经允许不得转载。
