天天视讯!AR增强现实技术解读

2023-01-10 11:20:00   来源:商业新知网

来源:网络

AR增强现实 ,是用户对现实世界感知的新技术。

一般认为,AR技术的出现源于虚拟现实技术(Virtual Reality,简称VR)的发展,但二者存在明显的差别。


(资料图片仅供参考)

传统VR技术给予用户一种在虚拟世界中完全沉浸的效果,是另外创造一个世界;而AR技术则把计算机带入到用户的真实世界中,通过听、看、摸、闻虚拟信息,来增强对现实世界的感知, 实现了从“人去适应机器”到技术“以人为本”的转变 。

AR技术原理

AR从其技术手段和表现形式上,可以明确分为大约两类,一是Vision based AR,即基于计算机视觉的AR,二是LBS basedAR,即基于地理位置信息的AR。

01

Vision based AR

基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一点呢?

本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形,从技术实现手段上可以 分为2类 :

1、 Marker-Based AR

这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码),然后把Marker放到现实中的一个位置上,相当于确定了一个现实场景中的平面。

然后通过摄像头对Marker进行识别和姿态评估(Pose Estimation),并确定其位置,然后将该Marker中心为原点的坐标系称为Marker Coordinates即 模板坐标系 。

我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系,这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果。

理解其原理需要一点3D射影几何的知识,从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(Camera Coordinates)然后再从摄像机坐标系映射到屏幕坐标系。

在实际的编码中,所有这些变换都是一个矩阵,在线性代数中矩阵代表一个变换,对坐标进行矩阵左乘便是一个线性变换(对于平移这种非线性变换,可以采用齐次坐标来进行矩阵运算)。 公式 如下:

矩阵C 的学名叫摄像机内参矩阵, 矩阵Tm 叫摄像机外参矩阵,其中内参矩阵是需要事先进行摄像机标定得到的,而外参矩阵是未知的,需要我们根据屏幕坐标(xc ,yc)和事先定义好的Marker 坐标系以及内参矩阵来估计Tm,然后绘制图形的时候根据Tm来绘制(初始估计的Tm不够精确,还需要使用非线性最小二乘进行迭代寻优)。

比如使用OpenGL绘制的时候就要在GL_MODELVIEW的模式下加载Tm矩阵来进行图形显示。

2、 Marker-Less AR

基本原理与Marker based AR相同,不过它可以用任何具有足够特征点的物体(例如:书的封面)作为平面基准,而不需要事先制作特殊的模板。

摆脱了模板对AR应用的束缚。

它的原理是通过一系列算法(如:SURF,ORB,FERN等)对模板物体提取特征点,并记录或者学习这些特征点。

当摄像头扫描周围场景,会提取周围场景的特征点并与记录的模板物体的特征点进行比对,如果扫描到的特征点和模板特征点匹配数量超过阈值,则认为扫描到该模板,然后根据对应的特征点坐标估计Tm矩阵,之后再根据Tm进行图形绘制(方法与Marker-Based AR类似)。

02

LBS-Based AR

其基本原理是通过GPS获取用户的地理位置,然后从某些数据源(比如wiki,google)等处获取该位置附近物体(如周围的餐馆,银行,学校等)的POI信息,再通过移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度,通过这些信息建立目标物体在现实场景中的平面基准(相当于marker),之后坐标变换显示等的原理与Marker-Based AR类似。

这种AR技术利用设备的GPS功能及传感器来实现, 摆脱了应用对Marker的依赖 ,用户体验方面要比Marker-Based AR更好。

而且由于不用实时识别Marker姿态和计算特征点,性能方面也好于Marker-Based AR和Marker-Less AR,因此对比Marker-Based AR和Marker-Less AR,LBS-Based AR可以更好的应用到移动设备上。

03

AR增强现实系统组成

1、Monitor-based系统

在 基于计算机显示器 的AR实现方案中,摄像机摄取的真实世界图像输入到计算机中,与计算机图形系统产生的虚拟景象合成,并输出到屏幕显示器。

用户从屏幕上看到最终的增强场景图片。它虽然不能带给用户多少沉浸感,但却是一套最简单使用的AR实现方案。

由于这套方案的硬件要求很低,因此被实验室中的AR系统研究者们大量采用。

2、Video see-through系统

头盔式显示器 (Head-mounted displays-HMD)被广泛应用于虚拟现实系统中,用以增强用户的视觉沉浸感。

增强现实技术的研究者们也采用了类似的显示技术,这就是在AR中广泛应用的穿透式HMD。

根据具体实现原理又划分为两大类,分别是 基于视频合成技术的穿透式HMD (video see-through HMD)和 基于光学原理的穿透式HMD (optical see-through HMD)。

Video see-through增强现实系统实现方案

3、Optical see-through系统

在上述的两套系统实现方案中,输入计算机中的有两个通道的信息,一个是计算机产生的虚拟信息通道,一个是来自于摄像机的真实场景通道。

而在optical see-through HMD实现方案中去除了后者,真实场景的图像经过一定的减光处理后,直接进入人眼,虚拟通道的信息经投影反射后再进入人眼,两者以光学的方法进行合成。

4、三种系统结构的性能比较

三种AR显示技术实现策略在性能上各有利弊。

在基于monitor-based和video see-through显示技术的AR实现中,都通过摄像机来获取真实场景的图像,在计算机中完成虚实图像的结合并输出。

整个过程不可避免的存在一定的系统延迟,这是动态AR应用中虚实注册错误的一个主要产生原因。

但这时由于用户的视觉完全在计算机的控制之下,这种系统延迟可以通过计算机内部虚实两个通道的协调配合来进行补偿。

而基于optical see-through显示技术的AR实现中,真实场景的视频图像传送是实时的,不受计算机控制,因此不可能用控制视频显示速率的办法来补偿系统延迟。

另外,在基于monitor-based和video See-through显示技术的AR实现中,可以利用计算机分析输入的视频图像,从真实场景的图像信息中抽取跟踪信息(基准点或图像特征),从而辅助动态AR中虚实景象的注册过程。而基于optical see-through显示技术的AR实现中,可以用来辅助虚实注册的信息只有头盔上位置传感器。

关键词: 增强现实 现实场景

上一篇:
下一篇:
精彩阅读

天天视讯!AR增强现实技术解读

热点

一般认为,AR技术的出现源于虚拟现实技术(VirtualReality,简称VR)的发展,但二者存在明显的差别。

数据基础设施安全任重道远,国产自研是必经之路

热点

数字经济时代,数据兼具生产要素和战略资源的双重角色,数据安全已经成为大数据时代最为紧迫的核心问题。

热推荐:字节跳动摊上事儿了

热点

TikTok再次陷入数据泄露危机。

天天新资讯:2023年中国元宇宙市场十大洞察:元宇宙产业将是未来一两年市场发展的主旋律

热点

尽管是两个不同的技术领域,元宇宙和web3的互生关系值得关注。从长远来看,web3和元宇宙将彼此促进。

天天播报:为什么说NFT凉不了?经久不衰的meme文化又火起来了

热点

NFT作为虚拟数字资产,其潜力被“效用”和“网络效应”估值模型大大削弱。

全球热讯:数智化转型进入“精装时代”,容联云助力千行百业加速上云用数赋智

热点

对于很多行业用户来说,不懂也不关心这些技术背后的计算、模型、硬件等问题,希望能够直接使用部署在云端的软件服务。

为什么说2023年是欧拉的出海元年?

热点

是什么促使欧拉跨越生态拐点迅速崛起?

移动互联网社交江湖已定,抖音为何仍不放过微信?

热点

抖音聊天或许只能和它的前辈一样,接受无人问津的命运。

世界报道:角逐太空:卫星网络攻击与防御向何处去?

热点

2022年初,FBI和CISA曾警告说,针对卫星地面和天基基础设施的攻击可能成为现实——而且很快就发生了。

财富

全球今日讯!融资丨「引加生物」完成近亿元A轮融资,招银国际领投

资讯

融资丨「引加生物」完成近亿元A轮融资,招银国际领投,​据了解,引加生物的本轮融资,将为公司进一步加强产品出海,强化与全球企业合作提供充

天天要闻:裁员1.1万?字节为何还在去肥增瘦

资讯

裁员1 1万?字节为何还在去肥增瘦,营收增速减慢,产品DAU增长不及目标预期,是此次裁员优化的核心原因。

喜茶奈雪,在抖音打成“雪王”

资讯

喜茶奈雪,在抖音打成“雪王”,新茶饮为什么要打一场折扣粗暴的价格战?

今日热门!融资丨「宇泽半导体」完成超12亿元B轮股权融资,国家绿色发展基金股份有限公司领投

资讯

融资丨「宇泽半导体」完成超12亿元B轮股权融资,国家绿色发展基金股份有限公司领投,据了解,本轮融资将助力宇泽半导体的产能扩建和创新发展。

融资丨「力拓云计算」完成千万元A轮融资,创谷资本独家投资

资讯

融资丨「力拓云计算」完成千万元A轮融资,创谷资本独家投资,据了解,本轮融资将主要用于力拓云计算对工业智脑、数字孪生产品的研发及市场拓展。

全球观焦点:印仿辉瑞新冠药被曝大量造假,假药究竟从何而来?

资讯

印仿辉瑞新冠药被曝大量造假,假药究竟从何而来?,在这样一个特殊时期下,“资本家”换成了更多胆大逐利的群体。

今日热讯:县城里的“阳康”们,撑起春节烟火气

资讯

县城里的“阳康”们,撑起春节烟火气,消费信心的修复仍需要更长时间。

世界今头条!Temu式激进背后:有人爆单,有人离场

资讯

Temu式激进背后:有人爆单,有人离场,有人认为在美国复制另一个“拼多多”完全可能;有人则认为Temu走不远。

香港通关:三年了,我们终于相见

资讯

香港通关:三年了,我们终于相见,久违了,香港。

热点!星巴克挺进小县城

资讯

星巴克挺进小县城,发起70城下沉战役,咖啡巨头已没有退路

数据基础设施安全任重道远,国产自研是必经之路

数字经济时代,数据兼具生产要素和战略资源的双重角色,数据安全已经成为大数据时代最为紧迫的核心问题。

热推荐:字节跳动摊上事儿了

TikTok再次陷入数据泄露危机。

天天新资讯:2023年中国元宇宙市场十大洞察:元宇宙产业将是未来一两年市场发展的主旋律

尽管是两个不同的技术领域,元宇宙和web3的互生关系值得关注。从长远来看,web3和元宇宙将彼此促进。

文字生万物,AI极简史

AI的步速很快。

天天播报:为什么说NFT凉不了?经久不衰的meme文化又火起来了

NFT作为虚拟数字资产,其潜力被“效用”和“网络效应”估值模型大大削弱。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个