做合格的工业数据分析师

2022-04-27 09:01:18   来源:商业新知网

我估计:除了图像处理,从事工业大数据分析时, 95%以上的工作都可以用线性回归、决策树、方差分析、频谱分析、最大似然估计、取平均数等基本的统计或数据处理方法完成。但是,人们讲到这些方法时,却往往会把重点放在深度学习、模式识别等。

现实中,这些高级方法往往是 “杀鸡用牛刀”,反而不好用。因为这些方法,难以与人的知识和认识结合起来。人们乐于宣传这些方法的原因,除了便于发表文章,就是便于保密。从事相关工作的朋友必须明白;自己要对自己的时间负责。最好用简单的办法分析问题。

但是,做数据分析工作其实很不容易。即便对数学和统计学功底好的人来说,人才的 “成才率”恐怕不会高于10%。那么,困难到底在什么地方?要理解这种困难,还是从《黑天鹅》中的那个故事谈起。作者问道:

一个硬币丢了 99次,每次都是正面朝上。请问第100次正面朝上的概率是多大?

学霸的标准答案是:第 100次正面朝上的概率与前面99次的结果没有关系。所以,概率是50%。而老油条的答案则是:前面连续99次都朝上了,你还会认为正面朝上的概率是50%吗?前提不成立了!

现实中, 数据分析的难点,在于认清正确的前提。

错误使用统计分析方法的现象非常普遍。我在宝钢工作时,看到钢铁行业同仁们写的论文,就对办公室的年轻人说:真想把这些论文作为反面案例,告诉大家什么是错误的分析方法。在这些例子中,有的回归分析的前提不成立,有人在选取样本时犯了初级错误。

这种现象并不奇怪。

我参与研究生面试时,经常遇到这样的事情:给学生出一道复杂的计算题,基本上都能正确地计算出来。但是,如果问基本的概念,很多人就回答不出来了。更有意思的是:如果把计算题出得特别简单、不再需要采用复杂公式时,多数学生居然回答不出来了!

我们现在的教育,总是考核在 “标准前提下,给出标准答案”。学生没有怀疑“前提”的习惯。这样的学生有知识,却不会用知识。

回到前面的问题。用线性回归可以清晰地分析一个变量的作用。但前提是其它变量的干扰较小、且具有随机性。解决这个问题的办法之一,是尽量固定其他变量。科学试验往往就是这么做。

但工业现场往往受各种约束,总会有很多干扰。而且,这些干扰并不是随机的。变量选择有问题时,小的非随机干扰,就会对分析结果产生很大的影响。所以,做数据分析时,必须时刻警惕非随机系统干扰的影响,并设法剔除它。

处理和发现非随机的系统干扰很难。原因是这样的因素太多。比如,任何一个变量的采集过程,都可能存在非随机系统干扰。而识别这些干扰,需要更多的数据项。这样,分析问题时面对的数据项就会越来越多。人的注意力就容易淹没在数据的海洋中。更糟糕的是:受数据条件制约,有些系统干扰可能就是不可见的。

现场中的有些干扰往往难以排除。我曾经遇到过这样一件事:

某钢种的性能波动非常大。强度 700MPa级的钢种,波动的标准差就高达60MPa。我分析后认为:这是某环节的系统干扰导致的。于是,我就设计了一个实验室试验、设法避开这种干扰。后来,同事在实验室里做了这个试验。他们做了几十对试样,每对试样的强度差不超过3MPa.

对前提做出判断的时候,往往需要较为全面的专业知识。这是制约数据分析人才 “成才率”提高的主要原因。

利用统计软件,做一次回归分析只要几秒钟的时间。数据分析师的绝大多数时间都用来对数据合理性进行分析。如果自己缺乏专业知识,可能几分钟就要去请教别人。别人岂不要烦死了?

合格的数据分析师,不仅要善于与数据打交道,更要善于理解物理对象和物理过程。

关键词: 正面朝上 数据分析

上一篇:
下一篇:
精彩阅读

做合格的工业数据分析师

热点

合格的数据分析师,不仅要善于与数据打交道,更要善于理解物理对象和物理过程。

淘丁分享:人工智能与人类智能的区别与趋势

热点

人工智能已经从科幻小说走进了现实。如今,我们拥有自动驾驶汽车、智能虚拟助手、聊天机器人和手术机器人,以及其他智能机器。

深度分析B站百大up主数据:高更替率背后,知识、游戏、美食越来越卷了……

热点

整体来看,B站百大替换率逐年提升,知识、游戏、美食区赛道拥挤,竞争激烈。

不再按月披露用户净增数,联通困境的根源在于3G时代错失良机

热点

市场之争,诡谲云涌,机不可失,失不再来。

元宇宙的庞大市场预期将促进生成式AI快速发展

热点

商业化将会大量促进人工智能的市场规模,在2022年达到620亿美元。其中生成式AI将是重要的突破口。

奇安信发布2021年财报及2022年一季财报

热点

4月25日,奇安信发布2021年财报及2022年一季财报。根据财报,2021年奇安信营收58 09亿元,较上年增长39 6%,2022年一季度营收6 59亿元,同

九牧王一季度亏损5746万,投资失效所致

热点

业绩下滑、投资失效,九牧王退守老本行。4月25日晚,九牧王发布财务报告,2021年净利下滑47 25%;2022年一季度亏损5746万元。对于业绩的下滑

鲸直播回顾 | 大咖共话数据赋能“东数西算”

热点

整体来讲,东数西算符合数字经济发展的需要,能够解决东部的算力问题,也能够发挥西部的地理和能源优势。

押注虚拟时尚1000亿市场,张一鸣的野心藏不住

热点

虚拟技术还不足以完全支撑一个庞大的经济市场,但是在另一个“世界”里,已经可以窥探到我们遥远的未来。

财富

九牧王2021年净利下滑47.25%退守老本行

资讯

业绩下滑、投资失效,九牧王退守老本行。4月25日晚,九牧王发布财务报告,2021年净利下滑47 25%;2022年一季度亏损5746万元。对于业绩的下滑

韩国元数据创业公司DoubleMe筹集2500万美元融资

资讯

在电动车时代,动力电池和车体安装的方式也将会发生改变,CTC技术就是将电池和底盘融合在一起,更好的优化车辆空间和结构强度。今日,零跑

超亲石墨烯口罩使用时长是传统一次性口罩的25倍

资讯

一次性口罩生产原材料中的不易降解石化成分让塑料污染治理成为难题,而石墨烯材料的创新应用有望改变这一状况。湖北大学化学化工学院教授博

聚焦“国之大者”,L3级自动驾驶暴露出概念模糊问题

资讯

传统燃油车已有百年发展历史,对产品技术和性能的测试评价十分成熟。而今天,新能源汽车和自动驾驶仍处在成长期,远没有跨入成熟阶段,技术

正积分“双增长”,皆大欢喜

资讯

一年一度的双积分情况公示,再次将积分交易价格波动、政策调整,以及如何与碳交易挂钩和衔接等一系列问题推向风口浪尖。正积分双增长皆大欢

台积电3nm工艺下半年生产,2nm明年量产,2023年没戏

资讯

根据台积电的信息,3nm工艺今年下半年生产,不过明年才能大规模量产,2nm则要到2025年才能量产,这两代工艺的VIP客户都是Intel和苹果,他们

体验经济时代,长虹引领电视产业新发展

资讯

体验经济时代,潜在消费者对产品的体验程度,影响着产品的市场表现力。对于2022年的8K电视来说,体验经济模式带来的效应非常明显。体验改变

全球第一!宁德时代2021年净利润159.31亿元

资讯

4月21日晚间,宁德时代发布2021年财报,数据显示,2021年营业收入约1303 56亿元,同比增加159 06%;归属于上市公司股东的净利润约159 31亿元

13mini不受欢迎 苹果将停产5.4英寸iPhone14mini

资讯

苹果要放弃mini系列是有原因的,因为用户都不是很买单。消费者数据研究机构CIRP的一份新报告展示了iPhone阵营各款手机的销售状况。iPhone

联想承诺2025年全线计算机产品100%含再生塑料

资讯

越来越多的科技公司开始参与环保事业,不仅推进清洁能源,也在加大对再生材料的支持,全球最大的PC厂商联想今天承诺到2025年,全线计算机产

淘丁分享:人工智能与人类智能的区别与趋势

人工智能已经从科幻小说走进了现实。如今,我们拥有自动驾驶汽车、智能虚拟助手、聊天机器人和手术机器人,以及其他智能机器。

深度分析B站百大up主数据:高更替率背后,知识、游戏、美食越来越卷了……

整体来看,B站百大替换率逐年提升,知识、游戏、美食区赛道拥挤,竞争激烈。

不再按月披露用户净增数,联通困境的根源在于3G时代错失良机

市场之争,诡谲云涌,机不可失,失不再来。

元宇宙的庞大市场预期将促进生成式AI快速发展

商业化将会大量促进人工智能的市场规模,在2022年达到620亿美元。其中生成式AI将是重要的突破口。

龙芯中科胡伟武:自主又兼容夯实信息产业“三箭齐发”

龙芯中科董事长胡伟武在线上发表了关于LoongArch生态建设的演讲。胡伟武表示,指令系统是自主信息产业绕不过去的话题,我国不可能基于国外

锐龙55600G评测:台积电7nm工艺,6核心12线程

自从AMD推出Zen3架构的锐龙5000系列处理器后,在市面上大杀四方,不论是单核性能、多核性能还是游戏性能都远胜于Intel10代和11代酷睿,甚至

欧菲光:公司8P镜头项目已研发成功,目前处于试产阶段

曾经为苹果提供镜头模组的欧菲光今日在互动平台表示,公司团队历经多年技术攻坚,突破高端镜头技术壁垒,一亿像素7P光学镜头已量产,长焦镜

支付宝:处置69375个违规账号和参与“跑分”的账号

4月19日下午,支付宝安全中心官方发布了 关于持续打击电信网络诈骗、租售账号等违规行为的公告 。为保障用户账户安全,营造清澈、安全的

华润啤酒频现“超标排放”环保问题遭罚款

4月18日,北京商报记者在聊城市生态环境局注意到,华润雪花啤酒(聊城)有限公司(以下简称雪花聊城公司)因涉嫌超标排污被聊城市生态环境局罚

Eurocom推出15.6英寸笔记本电脑工作站

Eurocom 正推出 15 6 英寸的 Raptor X15 Mobile Supercomputer,该工作站采用 LGA1700 插槽的英特尔第 12 代桌面处理器。通过最