【独家焦点】个推技术实践:教你打造数据质量心电图,智能检测数据心跳异常

2022-08-05 16:03:44   来源:商业新知网

个推拥有丰富的数据资源,通过知识挖掘、机器学习等技术,提炼数据价值,为行业客户提供数据智能产品和解决方案。为更好地保障自身数据质量,为合作伙伴提供更加优质的数据智能服务,个推构建了数百个指标对数据质量进行监控,并形成“数据质量心电图”,可视化地展现日增数据量、数据总量变化趋势等情况,帮助相关人员更直观地发现数据异常点,及时感知数据质量。

每天通过人工去观察和分析庞大的指标,会占用很多人力资源。如何通过智能化的方式高效且准确地识别出数据异常点?本文将个推在数据异常点智能检测方面的实践做了总结,与大家分享个推的数据质量保障经验。

四种常见的指标异常

首先,根据个推业务场景,我们总结并定义出了四种常见的数据指标异常类型,分别是单点指标异常、周期指标异常、阶梯指标异常、连续指标异常。


(资料图片)

第一类:单点指标异常

单点指标异常是指在大多数时间内都保持相对平稳的数据,在某一时间点突然发生较大波动。

以个推用户画像数据为例,个推将画像标签数据分为冷、温、热三种,其中“冷数据”指的是性别、年龄阶段等在很长一段时间内不会发生较大变化的一类数据。但是,如果相关特征数据缺失,冷数据的标签量级会骤降。这种情况下就会产生单点异常的情况。

由于异常点的值会极大地偏离整体数据区间,所以这一类指标异常点比较容易判别。

第二类:周期指标异常

周期异常是指数据整体具有周期特性,在数据曲线上能明显看出周期性起伏,异常点数值虽然处于正常的数据区间,但是不符合一贯的周期波动规律。

比如,办公类App的日活数据就具有典型的周期特性,一般来讲办公类App周一至周五的日活较高,周末的日活较低。如果办公类App在周末或假期期间,日活突然升高,甚至超过工作日,那么我们就可以认为出现了周期数据异常点。

第三类:阶梯指标异常

这一类的异常其实并非都是问题数据。例如系统接入外部的广告流量后,数据曲线骤升,然后在高点保持正常波动。一段时间后,外部流量接入暂停,数据曲线骤降,然后在骤降点附近维持正常波动。类似场景下,数据曲线整体呈阶梯化走势。

一般来讲,有外部流量接入是正向反馈,但底层数据量突然增加,还是需要及时关注,以便更好地分析业务发展。

第四类:连续指标异常

连续异常是指在一段时间内连续发生的异常。例如我们在进行新老系统版本切换的过程中,老版本的日活数据会连续下降,直到切换完成后趋于稳定。那么,在切换过程中连续下降的所有点都应视为异常点。

此类数据异常对业务影响较大,我们需要挖掘异常原因并积极解决。

异常指标智能检测实践

针对以上四种数据指标异常,我们通过算法和统计学的方法进行智能检测。目前常用的几种异常值检测方法,在之前的文章中详细介绍过,大家可以点击阅读 >>大数据科学家需要掌握的几种异常值检测方法。

这些异常值检测方法在个推的实际应用效果如何?四种数据指标异常的智能检测思路有哪些不同?接下来为大家一一介绍。

1. 单点指标及连续指标异常(有一定规律)检测

以个推部分SDK的日活数据为例,某App在集成个推SDK过程中遇到问题,导致日活数据曲线出现一个连续骤降点A;后续一次系统故障又导致了SDK日活数据曲线再次骤降(产生骤降点B),并出现极小值点C。那么在骤降点A、骤降点B和极小值点C之间的数值就是我们要检测找出的异常点。

通常来说,使用统计模型或机器学习模型就可以将系统故障产生的极度明显的单点异常识别出来。如下图,使用3σ统计方法和孤立森林模型均可感知到系统故障产生的极小值点C。

然而,因为集成问题所产生的骤降点A和骤降点B并未能被识别出来。这些骤降点背后的原因对我们迭代产品设计有非常重要的参考价值,所以我们要优化检测方法,使模型能准确识别到骤降点A和骤降点B。

分析之前的检测方案,我们发现骤降点A和B的数值都在正常的数据波动区间内,所以统计方法没有将骤降点A和B分到3σ外,孤立森林模型也无法将它们视为离群点(即异常点)。

针对此问题,我们对输入模型的特征进行了调整,将单一的数据值替换为数据值+波动值的二维特征,对指标的波动率也赋予权重,使其参与模型计算;并保证在模型参数完全一致的情况下,利用二维特征的孤立森林进行对比。

上图展示了模型优化后的检测效果。可以明显看出,在模型参数一致的情况下,连续下降的那些异常值能够被准确地识别出来,由于系统故障产生的极小值点也可以成功地被检测。优化后的模型识别效果比较符合指标检测要求。

经验总结

单点指标异常:针对此类明显偏离正常数据区间的单点异常值(其他时间段的数据保持稳定),使用统计类模型就能识别和检测出来。

连续指标异常:因为数据值在正常区间内,所以这类异常值较为隐藏,需要将波动率融入特征,参与孤立森林模型计算才能识别。

2. 连续指标异常(无明显规律)检测

刚才提到的连续指标异常,是在数据曲线整体比较有规律的情况下发生的,所以较容易被识别;但是在数据整体曲线无明显规律的情况下,数据波动较大,连续指标异常的识别就相对困难一些。

比如,个推某汇总层(DWS层)的上游数据源头众多,逻辑复杂。任何一个上游数据的变化都会对汇总层产生直接影响,所以整体数据曲线起伏较大且无明显规律,直观上看存在比较多的异常点。但是数据源改动或上线优化等造成的波动都远大于日常波动,所以我们需要智能识别出这些由于底层原因导致的较大波动,及时评估影响,做好应对方案。

由于汇总层数据整体无明显的规律性,异常点数值跨度比较大且异常点较多,极易使数据的正常区间发生偏移,从而导致异常指标被误判为合理指标。对于这类数据,我们使用局部异常因子算法(LOF),依靠模型计算局部密度的特性,通过不同区域的数据密度找出异常点。

从效果来看,人为认定的异常指标都可以被LOF模型准确识别,如下图:

经验总结

局部异常因子算法(LOF)通过比较每个局部数据点的密度与其邻近区域数据的密度来判定异常点。局部数据点的密度越小于邻域数据密度,那么该点被判定为异常点的几率就越高。

在整体数据没有规律且比较发散的情况下,利用LOF局部密度的特性进行异常值检测的效果更好,能够满足指标检测标准。

3. 阶梯指标异常检测

外部流量的接入数据是十分典型的阶梯类指标。以个推外部流量数据为例,我们在指标检测中,应该将接入或接出后产生的波动点都作为异常值汇报。

如上图,阶梯类数据异常是在瞬间发生的(数据曲线上升坡度接近90度),异常点的数值波动非常大,并且存在反复性。此外,异常值可能在正常的数值区间内,流量数据也并不符合正态分布。根据阶梯异常的特性及实践经验,我们使用二维特征的孤立森林模型来识别该类异常。

上图展示了识别效果。可以看到孤立森林模型准确识别到了流量接入和接出时的变化点,并且还识别到了两个隐蔽的变化点,将曲线放大后可以发现这两个隐蔽点的波动相对于其他点是比较大的,属于正确识别。

经验总结

阶梯异常值较为隐藏,但是波动性大。我们可以将波动值融入到特征中,采用孤立森林模型进行识别。

4.周期指标异常检测

以办公类App的日活数据为例,该数据在大多数时间内都呈现出震荡的周期性,但在十一假期和春节假期分别产生了一个低谷,假期结束后又重回周期性,这种假期效应带来的数据变化就是我们要找的异常值。在春节的假期效应结束后,办公类App日活数据增加,这个提升点也应该被识别出来。

考虑到周期性,我们在识别该类异常值时增加了局部异常因子算法(LOF)。

为验证模型效果,在保证二维特征一致的前提下,我们分别通过LOF算法和孤立森林模型进行异常指标的识别,并进行了效果对比,如下图:

上图可以看出,二者的表现有一定差别。这两个算法都识别到了第二个周期异常点,但在第一个周期异常点的识别上,LOF利用其局部密度识别的特性,感知地更早,在不符合周期变化的初期就有所察觉;而孤立森林在第一个周期异常到达了极值点才有所感知。

在实际应用中,更早感知到数据变化,就可以更及时地采取措施以减少对业务的影响。另外,孤立森林模型明显存在误判点。所以,相比之下,LOF算法的检测效果更好。

经验总结

对周期指标异常的检测更强调及时性。从效果来看,二维特征的LOF模型通过对比每一个局部数据点的密度,能够更加准确、迅速地感知到异常。

总的来讲,我们可以看到,智能识别模型不仅识别到了单点指标异常、周期指标异常、阶梯指标异常、连续指标异常等四类重点关注的数据指标异常,还识别到了一些隐蔽的异常点。简单的人工目测可能会觉得这些异常指标是误判导致,但是当我们把曲线放大后就会发现,这些是除了底层数据操作影响以外波动最大的数据点。

其实在模型构建时可以选择舍去这类异常点。我们之所以保留汇报这类数据,是因为希望从这类波动偏大的数据点中总结规律,找到在未对数据做处理的情况下却产生较大数值波动的原因,进而优化数据质量,提高数据的稳定性。

指标检测系统架构

指标异常检测只是一个中间过程,将异常数据造成的影响降到最低,提高数据质量才是最终目的。为此,我们对指标检测系统架构做了如下规划:

将应用管理平台直接与异常数据关联,匹配出异常时间线内的相关变更操作,此操作大概率为数据异常变化的直接原因,并通过邮件告知给负责人员。

对于非底层配置变更导致的异常,我们要结合业务和现实情况总结内在规律,比如办公类App的日活数据受假期效应影响,并分析相关特征,建立归因模型,最终实现智能化归因。

和数据血缘系统结合,通过数据血缘系统找到对应的数据负责人和使用数据的业务线,第一时间让业务人员知道底层数据的变动,使负面影响最小化。

分析不同类别指标数据的特征,构建指标数据分类模型,识别指标场景。自动化进行异常分类,并根据异常分类结果匹配对应模型,进行智能识别,减少人工调试。

总结:

接下来,个推还将持续完善指标检测体系,构建准确、迅速、清晰、智能的检测系统。更多技术实战干货分享,请大家持续关注个推技术实践公众号“个推研发笔记”系列专栏。

关键词: 的情况下

上一篇:
下一篇:
精彩阅读

【独家焦点】个推技术实践:教你打造数据质量心电图,智能检测数据心跳异常

热点

个推拥有丰富的数据资源,通过知识挖掘、机器学习等技术,提炼数据价值,为行业客户提供数据智能产品和解决方案。

天天要闻:数据安全内忧外患,你可能需要它

热点

当下数据安全问题愈演愈烈,养只“黑猫”来守护你的数据资产。

【天天聚看点】东数西算开启算力网络大时代,“九阶评估模型”能带来什么?

热点

今年初,全国一体化大数据中心体系完成总体设计,“东数西算”工程正式全面启动,标志着一个“算力网络”的大时代正式开启。

时讯:谷歌团队推出新Transformer,优化全景分割方案|CVPR 2022

热点

语义分割就比如为图像中的每个像素分配语义标签,例如「人」和「天空」。

全球关注:半年融资数千万,这个“没有背景”的元宇宙创新项目团队做了什么 | 元宇宙100人

热点

据游戏日报了解,Vland云现场应该是国内首个没有背靠大公司资源、且能快速在市场铺开商业化的虚拟空间创新项目。

每日讯息!Meta推出演示程序《First Hand》,包含多种手势追踪交互场景;Codemasters畅谈如何将一级方程式赛车带进VR

热点

《FirstHand》是Meta构建的一款演示程序,里面展示了基于手势追踪功能所构建的交互场景。

当前快看:中移物联网启动5G专网行业通道及组网服务集采:总规模5100套

热点

从中国移动官网获悉,中移物联网公司发布公告称,启动5G专网行业通道及组网服务项目公开招标。

全球热头条丨七夕:疯狂搞钱的年轻人,一周赚14万

热点

单身的年轻人七夕怎么过?在各大社交媒体上,有的年轻人“出租自己”,配合换情侣头像,换个性签名,提供连麦的哄睡服务。

重点聚焦!中关村科金打造多语境感知的“得助智能交互平台”实现创新升级

热点

当智能客服成为主流,各行各业都在逐步加强对客户服务方式的改进与升级。

全球观天下!人事 | 新疆联通再增虎将!连续多任均被提拔!

热点

据报道,新疆联通新增一位副总经理,系由济南联通总经理万京春提任,目前已到任。

财富

【环球新视野】“浙商教父”造车梦:烧钱20年,父子二人宁可赔光家当,也要造电车

资讯

“浙商教父”造车梦:烧钱20年,父子二人宁可赔光家当,也要造电车,万向造车,不缺实力,缺了一些运气。

全球观天下!不只周杰伦,抖音、快手陷入“抢人”大战

资讯

不只周杰伦,抖音、快手陷入“抢人”大战,流量和变现是“留人”法宝。

天天新动态:罗振宇和得到背后的资本局

资讯

罗振宇和得到背后的资本局,得到上市折戟,知识付费证伪

观察:小红书变现策略及商业路径全解读

资讯

小红书变现策略及商业路径全解读,小红书同时在推的商业路径不少,有的路径有利可图,有的路径则微利甚至容易亏本。

即时焦点:融资丨「奥全生物」完成近亿元B轮融资,德屹资本领投

资讯

融资丨「奥全生物」完成近亿元B轮融资,德屹资本领投,本次募集资金将主要用于新生产基地的建设、创新给药平台的市场推广及在研管线的研发、临

焦点热讯:比亚迪们杀向日本

资讯

比亚迪们杀向日本,1%市场能否被撑大?

全球最新:小天才涉黄暴背后:家长与孩子的战争

资讯

小天才涉黄暴背后:家长与孩子的战争,电话手表越来越像智能手机,这也引起了家长们的警惕。

消息!罗技联手腾讯,掌机+云游戏真能擦出火花吗

资讯

罗技联手腾讯,掌机+云游戏真能擦出火花吗,云游戏掌机或将会成为云游戏的最佳落地场景。

热门看点:宠物也开始跨界做内衣了

资讯

宠物也开始跨界做内衣了,内衣行业真的​好做吗?​

头条:狂砸明星代言、广告横行霸屏,借1000还1万的网贷为何戒不掉?

资讯

狂砸明星代言、广告横行霸屏,借1000还1万的网贷为何戒不掉?,互金和娱乐联姻,金融创新秒变高利贷。

天天要闻:数据安全内忧外患,你可能需要它

当下数据安全问题愈演愈烈,养只“黑猫”来守护你的数据资产。

【天天聚看点】东数西算开启算力网络大时代,“九阶评估模型”能带来什么?

今年初,全国一体化大数据中心体系完成总体设计,“东数西算”工程正式全面启动,标志着一个“算力网络”的大时代正式开启。

时讯:谷歌团队推出新Transformer,优化全景分割方案|CVPR 2022

语义分割就比如为图像中的每个像素分配语义标签,例如「人」和「天空」。

全球关注:半年融资数千万,这个“没有背景”的元宇宙创新项目团队做了什么 | 元宇宙100人

据游戏日报了解,Vland云现场应该是国内首个没有背靠大公司资源、且能快速在市场铺开商业化的虚拟空间创新项目。

每日讯息!Meta推出演示程序《First Hand》,包含多种手势追踪交互场景;Codemasters畅谈如何将一级方程式赛车带进VR

《FirstHand》是Meta构建的一款演示程序,里面展示了基于手势追踪功能所构建的交互场景。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住