支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

Esther|编辑

3月3日消息,微软在Ignite活动上发布Mesh服务平台,该平台基于微软Azure云服务,可用于开发多人跨平台沉浸式AR应用。简单来讲,就是一个支持云计算的AR开发平台,应用场景侧重于远程协作、会议、虚拟网课、社交等等。同时,也为未来的MMO AR游戏、全球范围的LBS AR/metaverse、AR云渲染带来可能。

此外,微软还与Niantic合作展示了基于Azure和HoloLens 2的AR眼镜版《精灵宝可梦Go》多人demo体验,并宣布继续合作开发基于地理位置的全新社交内容。而微软的VR社交应用《AltspaceVR》也将推出企业版,提供安全沉浸的VR会议功能。

微软表示:开发Mesh平台的原因是看好AR成为第四代计算平台的潜力,它将在C端和B端市场普及,为用户带来不受屏幕限制、交互自然、与真实环境和人互动的体验。目前,已经有上亿人使用过Niantic的移动端AR游戏,并且随着疫情来袭,演唱会、健身培训等越来越多的线下活动开始转战线上。

据青亭网了解,全球财富500强企业中超过半数曾采用HoloLens等AR解决方案来驱动投资回报,但市面上真正应用的AR内容却并不多。为了促进AR内容发展,解决开发门槛和痛点,微软推出了全新的Mesh平台。

具体来讲,微软计划通过Mesh实现以下效果:

  • 1)降低逼真AR形象开发所需的时间和资源;
  • 2)让多人AR内容更稳定,不受延迟和跨平台影响;
  • 3)支持更多或统一导入至AR平台的3D文件格式;
  • 4)支持流畅同步的远程多人AR体验。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

从微软公布的Mesh构成图来看,目前支持该平台的应用包括HoloLens Mesh应用、AltspaceVR(新增企业级功能)、微软Teams、Dynamics 365套件、合作伙伴应用。而兼容的设备则包括:HoloLens、惠普Reverb G2、Oculus Quest 2、iOS或安卓手机/平板电脑、PC/Mac等等。此外,Mesh平台由SDK和UX架构组成,功能包括多人沉浸式体现、空间地图、全息渲染、多人同步。

Mesh功能大解析

接下来,我们将逐步解析Mesh平台的几大特色:1)支持设定和导入3D虚拟角色;2)AR空间地图;3)AR云渲染;4)多人同步。

首先,利用Mesh开发应用时你可以导入已有的3D模型,并进行绑定和自定义,同时也可以上传已骨骼绑定的虚拟形象,通过基于AI算法的动作模型,可准确捕捉用户动作,并在虚拟形象上同步。定位方面,Mesh平台同时支持基于inside-out和outside-in两种定位方案的AR角色,其中inside-out指的是HoloLens等配备光学摄像头定位方案,而outside-in则包括AR容积捕捉或是Azure Kinect 3D拍摄等场景。

除了支持AR虚拟形象开发外,Mesh还具备Spatial Maps功能,可用于开发持续性的LBS AR应用,比如:AR导航、AR技术服务记录备注、AR留言等等。微软表示:在Mesh平台出现之前,每一部设备通过摄像头只能捕捉到本地的数据,而现在Mesh平台将综合每台设备的本地缓存,并生成全球范围的LBS AR架构。这种架构可以让你将内容锚定在特定的空间位置,并与其他人合作或共享。

在官方博客中,微软着重介绍了开发AR空间地图的意义,并认为基于视觉定位的AR地图有望比GPS更加精准,即使在室内等GPS信号弱的地方也能使用。同时,AR地图支持空间锚点,为AR应用带来更准确的固定效果。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

考虑到Mesh基于Azure云服务,而云端计算与AR最直接的结合就是通过云端服务器来分担AR设备的计算压力,从而实现降低AR硬件成本、缩减设备体积、提升AR计算和显示效果等目标。据微软称,Mesh的AR云渲染功能将原生支持大多数3D文件格式,意味着在AR协作应用中导入已有的3D模型也支持Mesh云端渲染。

除了上述功能外,Mesh还支持多用户同步,也就是说可以在多人AR应用中同步用户的姿态、动作、表情、变化,据称延迟可控制在100毫秒,不受地理位置约束。通过空间音频功能,可进一步增强沉浸感和临场感。

总之,Mesh开发平台的核心是Azure云服务,该服务的特点是具备安全性和稳定性,为稳定的多人AR应用提供基础。同时,开发者也无需考虑账单、音频/视频传输、管理等核心功能。与此同时,Mesh平台具备AI功能,有助于解决大型多人AR游戏的一些复杂技术难题。而具体应用场景方面,你可以利用Mesh开发基于3D虚拟形象的多人线上应用,或是开发持续性的LBS AR内容。

为了进一步降低开发门槛,Mesh将支持Unity引擎和C++、C#语言,用它开发的AR应用可以在AR/VR/PC/手机等多平台分发。未来,该平台还将支持Unreal、Babylon、React Native等引擎和框架,同时Mesh SDK预置的UX架构让AR内容开发更加简单快捷。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

《Microsoft Mesh App》

目前,支持Mesh功能的应用包括:HoloLens 2的《Microsoft Mesh App》(预览版)、《AltspaceVR》(新增企业级功能)等等,感兴趣的开发者或爱好者可以下载体验。其中,《Mesh App》支持一些基础的多人功能,包括:远程协作、自定义动态虚拟形象、从OneDrive(微软3D控件平台Remix3D已于去年关闭)导入3D内容、保存同步和异步会话/合作内容、AR标记。而全新的《AltspaceVR》企业版将支持VR会议、安全登陆、会议管理、隐私规定等功能。

展示AR眼镜版《精灵宝可梦Go》

在今天举行的Ignite活动上,为了展示Mesh平台的多人同步和协作效果,微软与Niantic合作,在HoloLens 2上展示了基于《精灵宝可梦Go》的多人AR demo。据悉,《精灵宝可梦Go》原本是移动端LBS AR游戏,而在Azure云服务技术支持下,微软成功展示了两个人同步用AR眼镜来玩游戏效果。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

微软技术院士Alex Kipman表示:用眼镜体验AR内容是行业的初心,因为用AR眼镜看到的画面足够沉浸,可以让使用者在虚拟环境中与其他人实时远程共享内容,不受地理位置约束,也能有共处一室的体验。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

除了沉浸式体验感外,HoloLens 2还支持手势操作,因此徒手就能与游戏互动,画面和操作范围、方式不受屏幕的限制,比手机用起来更自然、方便。尽管在AR眼镜中玩游戏看起来很有趣,目前微软和Niantic都没有将其商业化的计划,考虑到HoloLens 2高昂的价格,显然它目前难以被C端用户接受,因此现在推出游戏应用确实有点早。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

不过,Niantic CEO John Hanke表示:目前Niantic正在与微软合作,开发融合数字和物理世界的创新体验,带来全新的社交和互动方式。值得注意的是,Niantic曾打造Real World LBS AR平台,并正在《Ingress》和《精灵宝可梦Go》等游戏上测试收集真实环境数据,为未来的3D AR世界地图做准备。因此,Niantic与微软的合作将会以何种形式呈现,值得关注。

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

除了Niantic外,微软还公布了其他的一些合作项目,比如:海洋探测团队OceanX将推出3D AR海底实验室,加拿大创意组织Lune Rouge将打造AR/VR活动平台Hanai World,开发AR/VR演唱会、戏剧表演、DJ演奏、社交等应用,可以让你体验策划的活动内容或是用户创建的空间和内容。据悉,Lune Rouge创始人名为Guy Laliberté,同时也是受疫情影响而申请破产的太阳马戏团创始人,他希望通过逼真的线上活动来弥补线下活动的局限。

为何现在才推出AR云平台

实际上,在PC时代微软通过Windows系统助力电脑软件生态,让软件开发和分发越来越轻松,让用户得到越来越多丰富的内容。而现在,微软也将通过Mesh平台,进一步简化AR内容开发门槛,吸引更多开发者来丰富AR生态。那么,为什么微软选择在现在这个时间点推出AR云平台?

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

首先,Kipman表示:为了全新计算平台发展,你需要在整个生态上进行深度投资,这就是微软一直在做的事。通过Mesh平台提供的完整开发方案,希望让更多开发者受益,开发出有价值的AR/VR内容。

微软一直定位云战略,发展Azure、Office 365、Dynamics 365三驾智能云马车,因此不止是AR,Office等大量业务也围绕云展开。此外,微软作为AR硬件大厂,在现在推出AR云平台应该是认为时机已经成熟。相比之下,这也意味着现有的AR云服务功能不够完善,还存在一些问题。尤其是在规模上,还没有人做到像Mesh一样支持HoloLens 、AR/VR、PC、手机等大部分主流平台。

据了解,在微软发布Mesh之前,市面上已经存在Scape、Arvizio、GridRaster、8th Wall Web AR、Magic Leap Metaverse、Niantic Real World等AR云端开发平台,它们并不像Mesh那样通用于各种多人、跨平台、云渲染AR场景,而是各有不同的侧重点。比如,Scape主要应用场景是基于AR云地图的视觉导航(VPS),而GridRaster和Arvizio则侧重于移动端AR指导、可视化、模拟和协同解决方案,8th Wall侧重于WebAR内容开发。

另外,Magic Leap Metaverse更像是一个虚实结合的概念应用,在公布多年后才于今年初与Google Cloud合作推进,与此前定位的大规模LBS AR地图场景相比,目前Metaverse更侧重于B端应用。而Niantic Real World目前来看主打LBS AR游戏内容开发,未来的长期布局是3D世界地图。除此之外,还有人爆料特斯拉正在开发基于户外场景的AR云平台,助力汽车和导航技术。

与上述AR云平台相比,微软Mesh几乎融合所有的功能,让开发者在统一的平台上就能开发支持多个设备/客户端的云AR服务和应用,适用于多样化的应用场景,且AR云渲染也为轻量化AR带来可能。

不过,对于消费者来讲AR作为计算平台可能还是比较遥远的概念。就像是电脑最初以办公、科研为主要应用场景,AR的应用也将以B端场景为主,而打开C端市场应该还需要一段时间。

参考:

https://techcommunity.microsoft.com/t5/mixed-reality-blog/microsoft-mesh-a-technical-overview/ba-p/2176004

https://news.microsoft.com/innovation-stories/microsoft-mesh/

https://vrscout.com/news/niantic-mr-pokemon-go-demo-hololens/

( END)


推荐阅读


支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台


支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台


支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台


支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台

支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台每天五分钟,轻松了解前沿科技。
——青亭网
支持多人跨平台、云端渲染,微软为何重磅推出Mesh AR平台
上一篇:百度文心多项任务分数刷新GLUE榜单,NLP界的「MVP」再次夺冠
下一篇:

相关推荐

微软与Niantic合作展示《宝可梦Go》的“未来操作方式”

微软与Niantic合作展示《宝可梦Go》的“未来操作方式”

889 游戏头条

游戏头条微信号:gametoutiao(←长按复制)中国首家顾问式新媒体定制属于您自己的媒体内容导语:Niantic首席执行官约翰·汉克(JohnHanke)在现场播放了自己使用Hololens2把玩《宝可梦GO》的演示视频。如果不用手机玩《宝可梦GO》是一种什么体验?在今天举行的Ignite活动中,通过利用微软最新发布的MicrosoftMesh平台(Mi

能源局风光开发意见稿点评!

能源局风光开发意见稿点评!

1105 先知突发

市场对昨晚能源局发布的2021年风、光发电开发征求意见稿反应略悲观,港股风电运营商板块运营龙头现跌超10%,大唐新能源跌超4.0%,中广核新能源跌超3.0%,当前时点不应对该征求意见稿悲观解读。该征求意见稿相较之前年份风光开发规则上有一些变化,主要体现在:1、总体要求,2021年,风电、光伏发电发电量占全社会用电量的比重达到11%左右。2、积极推进存量竞价风

《山河令》成爆款,拉动了平台会员,拉不动出品公司股价

《山河令》成爆款,拉动了平台会员,拉不动出品公司股价

1629 每经影视

《山河令》火了。在没有任何预热的情况下,这部国风新武侠剧迅速走红,一时间追剧粉丝们纷纷自称“山人”。截至目前,该剧上线9天,在灯塔热度排行榜位列第一,豆瓣评分8.3分。两位主角龚俊、张哲瀚活跃粉丝榜排名更是从2月的100名以外飙升至第3、5位。剧集火爆背后,优酷也推出加更新玩法,要加更,先拉好友、充会员助力。为了加更,追剧粉丝们更是拿出“追爱豆”的洪荒实力做

微软智能云在华新增数据中心区域,云服务翻倍扩容

微软智能云在华新增数据中心区域,云服务翻倍扩容

1184 微软科技

(本文阅读时间:6分钟)2021年3月3日,北京——微软公司宣布,继续加大对中国市场云服务的投入,通过与世纪互联合作,新增微软智能云在华数据中心区域,并计划于2022年春季将其正式投入商业运营,实现微软智能云矩阵MicrosoftAzure、MicrosoftOffice365、MicrosoftDynamics365及MicrosoftPowerPlatf

板垣伴信的崛起:《死或生》开发秘话丨触乐

板垣伴信的崛起:《死或生》开发秘话丨触乐

820 触乐

别人笑我太疯癫,我笑他人看不穿。日本游戏界从不缺少口出狂言的导演:饭野贤治、三上真司、神谷英树、小岛秀夫……即使在众多狂人之中,板垣伴信也可以算得上是最癫狂的一位,他不仅是一名狂人,还是赌徒和酒鬼。然而,在板垣放浪形骸的外表之下,隐藏着一颗缜密的心,看似疯癫的发言,多是深思熟虑之举。板垣或许是被误读次数最多的导演,这种误读往往也出于他自己的刻意引导。那些狂言

大多数企业将国家支持的网络攻击视为主要威胁

大多数企业将国家支持的网络攻击视为主要威胁

1871 E安全

E安全3月1日讯《经济学人智库》和《网络安全技术协议》联合开展的一项研究显示,多数受访企业将以国家主导和赞助的网络攻击视为主要威胁。他们担心这些网络攻击所导致的严重后果,呼吁加强国际政治合作以减轻威胁。这项调查是在2020年11月至12月之间进行的,当时针对软件公司SolarWinds的恶意网络攻击事件尚未曝光。对于许多组织来说,这次攻击意味着以国家领导和支

微软任命侯阳博士为大中华区董事长兼首席执行官

微软任命侯阳博士为大中华区董事长兼首席执行官

1001 微软科技

(本文阅读时间:3分钟)2021年3月1日,北京——微软公司于今日宣布,侯阳博士将接替柯睿杰(AlainCrozier)担任微软大中华区董事长兼首席执行官,领导微软在大中华区的战略、销售和市场运营。▲微软大中华区董事长兼首席执行官侯阳博士柯睿杰自2016年起担任微软大中华区董事长兼首席执行官,不断推动微软自身业务转型,将行业领先的云服务打造成推进客户业务的引

《珍/钻重制版》开发商是个什么样的公司?宝可梦将推出25周年音乐专辑!

《珍/钻重制版》开发商是个什么样的公司?宝可梦将推出25周年音乐专辑!

357 Switch游戏圈

宝可梦25周年虚拟演唱会宝可梦官方油管频道公开PostMalone宝可梦25周年虚拟演唱会。此外,宝可梦公司还宣布,宝可梦25周年纪念音乐专辑将于秋季发布,由环球唱片集团旗下唱片公司CapitolRecords发行,该专辑收录14首歌曲,由包括KatyPerry、JBalvin、以及PostMalone在内的11位音乐人参与,更多详情将于日后公开。宝可梦井盖

男人说出这些话,说明他把你当备胎了,别后知后觉
私房话

男人说出这些话,说明他把你当备胎了,别后知后觉

439 头发这样扎更有范

男人深爱着女人的时候,女人肯定会有感觉,肯定会知道的。男人若是不爱一个女人,对待女人不认真,其实再怎么掩饰,话语中也能展现出来。有些男人只是把女人当成备胎了,根本没有想着好好在一起。要知道一段恋情若早知道没有结果,不如早点放弃。男人说出这些话,说明他把你当备胎了,别后知后觉:1.我没时间呢。忙是男人最常用的借口了,但是也分什么事情对什么忙。男人若是爱着一个女

请全中国的男孩进来学学怎么撩女朋友。
私房话

请全中国的男孩进来学学怎么撩女朋友。

1831 新世相

-这是新世相的第1509篇文章-Sayings:朋友们,为了写这篇文章,我又气吐血了。本来想给大家支招,下个月的情人节怎么过。没想到,搜到很多条抱怨:520男友没表示,我说不想理你想睡觉了。他说:“那你睡吧”;送礼物只会送书,我说有没有别的,他说:“你喜欢看书啊。”竟无言以对。我不甘心,找来了12个故事,发现——中国男孩其实很擅长浪漫,只是没有被发现。他们会

《仙剑奇侠传7》免费领!这款Steam国产游戏明日免费玩!《鬼谷八荒》馋哭老外!
游戏

《仙剑奇侠传7》免费领!这款Steam国产游戏明日免费玩!《鬼谷八荒》馋哭老外!

302 Steam社区

导读1、《仙剑奇侠传7》免费领取体验版今日已开放下载2、老外馋哭了!《鬼谷八荒》Steam外区玩家请求加英文3、这款Steam国产游戏《纪元:变异》明日起免费玩!4、PS港服2月会免开放!《控制》《赤痕》限免5、《战地6》真的来了!EA确认《战地》新作年底发售6、《质量效应传奇版》这个时间发售!Steam预售价248元!1《仙剑奇侠传7》免费领取体验版今日已

小主人被坏人“绑架”了,而狗子反应,居然是满地拉屎?
萌宠

小主人被坏人“绑架”了,而狗子反应,居然是满地拉屎?

332 大爱狗狗控

最近岛国综艺又开始整狗了!这一次的策划是,在小主人遛狗的路上,让工作人员扮演坏人“绑走”小主人,看狗狗会有什么反应...小朋友们个个自信爆棚,毕竟自己和爱犬一起长大,手足之情没得说,都相信爱犬肯定会来救自己的!第一个测试对象,是8岁Boss——‍看到小主人被绑架,Boss开始有点懵逼,但很快就试图跟着上车保护主人...只不过,小不点轻易就被“坏人”赶走了。然

这款steam收费游戏改为免费!生化8吸血鬼夫人竟然这么高!合金装备启动神秘项目!
游戏

这款steam收费游戏改为免费!生化8吸血鬼夫人竟然这么高!合金装备启动神秘项目!

484 Steam社区

导读1、喜加一!《EscapeInitiative》Steam平台改为免费游戏2、《生化危机8》Demo演示Dimitrescu夫人身高约2.44米3、《合金装备》演员网络重聚神秘项目疑似正在进行中4、《消逝的光芒2》收藏版内容疑泄露发售日将公布?5、《莱莎的炼金工房2》公布PC配置要求最低GTX10506、国产"福利"武侠游戏《嗜血印》5折促销中仅售29元

狗狗不经意回头,突然闻到主人的臭脚,狗狗:臭到本汪想蹦迪!
萌宠

狗狗不经意回头,突然闻到主人的臭脚,狗狗:臭到本汪想蹦迪!

1203 二货萌宠屋

有时候鼻子太灵敏了,也不是什么好事。比如说居家生活的宠物狗狗,巴掌大小的地方,不管有个啥味道,一定难以逃脱狗狗的嗅觉。你说要是炒菜炒肉的香气闻着还好受点,至于其它人为制造出来的臭气,对于狗狗来说简直就是折磨。这家铲屎官正躺在沙发床上无所事事的发呆,自家的狗狗则趴在沙发的另一头发愣。一人一狗,闲的各得其所,谁也不打扰谁。忽然铲屎官就冒了一坏水。铲屎官把自己的脚

全国情侣统一分手理由
私房话

全国情侣统一分手理由

1140 槽值

元旦刚过去不久,就有朋友哭哭啼啼找我诉苦。原来是跨年那天晚上,对象跟他提分手了,理由还很奇葩。前女友说我朋友新年本命年,怕给自己招来坏运气。这年头想分手不找个奇葩点的理由都不行了。最后曾听说过一句话:分开都是蓄谋已久。很多情侣分手可能是因为一件很小很小的事情,如:忘记对方生日,约会迟到,没有及时回复消息…然而真正导致两个人最终分开的,是长时间里很多事情积压在

AOC年度精彩瞬间丨回望2020,启程2021
游戏

AOC年度精彩瞬间丨回望2020,启程2021

1195 AOC未来视界

▼2020AOC逆势飞扬,勇创佳绩这一年,AOC荣耀加冕以525万台年出货成绩及28.5%市场占有率连续11年蝉联中国显示器市场冠军这一年,AOC聚力前行召开超10场战略会议,深挖市场机遇这一年,AOC震撼亮相闪耀超10个行业盛会,引领全屏生态这一年,AOC乘风破浪聚焦商显行业应用,赢创视讯未来▼2020AGON爱攻不负热爱,只为玩家这一年,AGON爱攻签约