创建逼真的全身3D人像只需20分钟,平价的手机端方案

创建逼真的全身3D人像只需20分钟,平价的手机端方案

小青|编辑

在AR/VR社交、娱乐等应用中,你常常需要先创建个性化的3D形象来代表自己,那么如果未来AR/VR发展到头号玩家电影中那样沉浸的样子,那么创建一个外观接近人类的3D虚拟形象则越来越关键。就目前来讲,并没有一个通用的3D人像扫描方案,大多数AR/VR场景可能需要你去容积捕捉工作室去创建自己的3D形象,成本较高因而难以普及。

创建逼真的全身3D人像只需20分钟,平价的手机端方案

为了解决这一问题,德国比勒费尔德大学、维尔茨堡大学和多特蒙德大学的科研人员研发了一种利用中端智能手机就能生成3D虚拟形象的技术,其特点是只需要约20分钟即可完成扫描,可捕捉到鞋的细节、服装的纹理、亮度、阴影。扫描出的虚拟形象支持骨骼绑定,面部也可以设置表情变化。

科研人员表示:AR/VR娱乐、社交、互动式场景对于虚拟人像的逼真度要求越来越高,包括外在细节、动作、行为,通常只能通过几十颗摄像头完成的人像捕捉任务,现在通过基于手机的低成本方案即可完成,效果也足够优秀。

据青亭网了解,该方案由两部分组成,分别拍摄身体和头部,拍摄一个人只需要12分钟左右。通常,用手机进行3D建模的时候,会一次性对同一物体进行完整扫描和捕捉,德国科研人员的方案的不同之处在于,将头部和身体分为两个部分去拍摄,可捕捉到更多细节。

创建逼真的全身3D人像只需20分钟,平价的手机端方案

在捕捉头部的过程中,拍摄者只需要用手机围绕被拍摄者的头部转一圈拍摄,在捕捉身体的过程中,首先对包括头部在内的上半身转一圈拍摄,接着对下半身再拍摄一圈。

经过对比实验显示,基于智能手机的方案3D捕捉接近48颗摄像头容积捕捉的效果。此外,效果也比目前低成本的单目扫描方案更好。

细节方面,这组科研人员利用Google Pixel 3的4K分辨率/30Hz摄影模式来进行拍摄,该机型定价400美元,据称市面上同样支持4K拍摄的手机也能得到相似的效果。整个拍摄过程持续110秒,其中全身视频捕捉需要80秒,头部捕捉30秒。

在用手机拍摄后,算法可从拍摄的视频中捕捉135个关键节点,包括25个全身节点(用来合成2D骨骼)、42个双手势节点、68个面部节点。通过多视角3D重建,以及从每一帧图像实时分析光流、预测实时生成两组密集的点云数据。通过摄影测量软件Agisoft Metashape来处理并生成点云数据,然后结合bounding box,来优化数据和算法。

由于通过手机摄像头捕捉到的虚拟人像网格存在噪点、异常值、数据缺失等问题,于是科研人员将捕捉到的人体节点与预设的模板进行匹配,包括对其位置、方向、比例等参数,模板网格对识别到的网格进行调整,填补缺失的数据,以此来完成3D几何网格的重建。

创建逼真的全身3D人像只需20分钟,平价的手机端方案

接着,科研人员对重建的3D网格进行纹理渲染,通过图像分割和拼接方式来优化纹理渲染的过程。据悉,图像分割优化减少纹理的数量,用大块纹理去替代细碎的纹理。效果比Agisoft Metashape直接生成的纹理更清晰,细节更多。

整个过程耗时20分钟,其中4分钟进行3D捕捉,7分钟处理和生成点云数据,2分钟节点识别与模板匹配,7分钟生成纹理。通过Faceware Studio(无标记3D面部动捕方案)和Unity Live插件,可以实时控制表情。也就是说,扫描出的3D人像可直接通过实时姿态和表情捕捉软件来控制,应用在AR/VR社交场景中足够方便。

在对比实验中,科研人员对33人进行扫描,结果发现发现基于智能手机的方案3D捕捉接近48颗摄像头容积捕捉的效。不过深色服装难以被扫描,被扫描的人需要保持静止,任何明显的动作可能会影响扫描数据准确性,而且扫描眼镜、头发、饰品等物品也具有挑战。

总之,在这个实验中科研人员发现,对头部的二次扫描可大幅提升面部建模的效果和细节,未来,还可以对手臂等其他部位单独二次扫描,以提升扫描效果和准确性。

同时,3D重建的虚拟人轮廓需要匹配细致的纹理,以及适合的骨骼。市面上的方案成本较高,而本文中的这个3D扫描方案足够低成本,使用方面,有望为虚拟形象和交互式媒体带来更多应用。

参考:https://dl.acm.org/doi/pdf/10.1145/3385956.3418940

( END)


推荐阅读


创建逼真的全身3D人像只需20分钟,平价的手机端方案


创建逼真的全身3D人像只需20分钟,平价的手机端方案


创建逼真的全身3D人像只需20分钟,平价的手机端方案


创建逼真的全身3D人像只需20分钟,平价的手机端方案

创建逼真的全身3D人像只需20分钟,平价的手机端方案每天五分钟,轻松了解前沿科技。
——青亭网
创建逼真的全身3D人像只需20分钟,平价的手机端方案
上一篇:程序员,技术的“背锅侠”,盘点 2020 年面向监狱编程的那些事!
下一篇:2020年信息通信产业盘点暨颁奖礼

相关推荐

女子把萨摩耶掉下毛收集起来,竟然做了一双雪靴,网友:太厉害了!
萌宠

女子把萨摩耶掉下毛收集起来,竟然做了一双雪靴,网友:太厉害了!

954 大爱萌狗控

爱狗人士关注大爱萌狗控只需回复:汪。内容更精彩!让您开心每一天网友Soleil养了一只萨摩耶Nimbus狗子啥都好,就是太容易掉毛了家里总是动不动就下雪每次她都会处理到崩溃而恰好呢,Soleil是个手工达人于是她就想,干嘛不利用这些毛做一些东西来送给喜欢Nimbus的朋友呢起初她都是做一些羊毛毡之类的小东西前不久天气变冷,Soleil突发奇想打算用狗子的毛来

游戏

2020年游戏市场的资本扩张之路(上)

154 游戏智库

时局动荡的2020年,游戏圈的资本扩张之路从未有一刻松懈,“宅经济”激发了游戏潜藏的抗风险能力,这一年的游戏产业,迎来了一个新的篇章。资本扩张的故事在这一年里,是一副各自进退,却又同舟共济的画卷。产品本身已经被笼罩在一种“阶级固化”的图景中,不论对于多少体量的厂商而言,一直以来的铺垫都已经决定了下一个基本盘去向何方。梳理这一年游戏市场的资本扩张图景,我们将会

萌宠

小时候是个俊俏小奶猫,过了1年多,这前后差距简直判若两猫!

1927 我和宠物的日常

饲主江小姐这天分享爱猫「阿宝」小时候和现在的对比照片,只见当初它还是个下巴尖尖、长相俊俏的小帅哥,想不到才过了1年多的岁月,就变成一副老神在在的「老头样」,前后差距跟简直判若两猫,让饲主不禁傻眼直呼,「你才1岁半可以不要这么老头吗!」阿宝小时候的可爱模样。江小姐接受访问时表示,以前跟老公养的1猫1狗先后年迈过世,原本并不打算再养宠物,但去年看到原本常去的动物

萌宠

捕鼠陷阱抓到小猫,除害老板看傻眼,赶紧抱起处理!网友:看它可怜的表情好心疼!!

1996 萌宠萌

更多精彩萌宠萌图欢迎关注【萌宠萌】微信微信号mengchongmeng有位猫奴经营了一家除害虫公司平时为店铺提供除害还有定期巡检服务就是替客户设捕鼠笼捉老鼠老板表示自己当猫奴已六年家中养的两只猫当初都是流浪猫收编回来的早前有客户打电话给他表示设置在厨房的捕鼠笼被猫咪乱入希望他赶快来处理老板赶往现场一看呆住捕鼠笼真的捕到小猫咪!他表示还是第一次见到这种情况当时

游戏

《人类一败涂地》手游:什么谜之操作?女玩家聚集,就代表菜?

1024 游戏新闻联播

关于《人类一败涂地》手游的报道,想必大家已经了解一些了,游戏好玩是好玩,但有点费脑子,而且游戏开服至今,很多玩家迫不及待想吐槽一番了。但吐槽一番过后,还是习惯打开该手游玩耍,不得不多说一句:“真香”!确实,该手游一上线引起众多玩家喜欢,喜欢的同时诟病也比较多,当然该手游乐趣还是比较多的。比如游戏中有着多样的物理交互规则,鬼畜是我们的定义,在游戏中可以与队友手

游戏

斗地主、打麻将赛事兴起,棋牌类电竞有发展前景吗?

1538 唯电竞

马上2021年了,虚拟的棋牌类赛事到底算不算电竞已经不是我们需要考虑的问题。值得思考的是,棋牌类电竞相比我们所认知的电竞有何不同?棋牌类电竞的发展前景又怎么样呢?作者:二闹图片:来自网络最近棋牌类电竞的话题挺火,这得益于两个规模较大的赛事,一个是JJ斗地主冠军杯,另一个是TGA腾讯棋牌锦标赛。严格意义上来说,棋牌类电竞赛事诞生的时间并不比其他热门电竞项目短。

致喜爱游戏的玩家们:我们最想对你说····【领666红包】
游戏

致喜爱游戏的玩家们:我们最想对你说····【领666红包】

217 Switch游戏圈

董小祎2000年,全世界都在疯传着世界末日到了,20年后的2020年才真正让我们感受到末日的恐惧。病毒爆发之后,作为一名普通的老百姓,在这场战疫中并没有帮上什么忙,老老实实呆在家里,一关就是几个月(终于有非常正当的理由宅着了)。朋友的老公在一线,每天防护服,工作不低于12个小时,从春暖花开的2月穿到酷暑的8月,直到现在零下几度的冬天,他们依然坚持在一线,为我

原来闯入足球比赛的狗子,都是这么个下场...
萌宠

原来闯入足球比赛的狗子,都是这么个下场...

968 大爱狗狗控

玻利维亚近日举行的甲级足球联赛,是其国内最高级别的足球联赛,然而让比赛出圈的却是一只狗狗!这场比赛开始大约1个小时后,突然有一只狗狗闯入了球场,这货嘴里还叼着从场边的球员区偷来的鞋子...估计小家伙看场上热火朝天不知道在玩什么,就自己也叼着装备上场想要加入其中...从这欢快的脚步可以看出,狗子是真的玩得很开心!狗子是爽了,但比赛暂停了,球员们轮番上场,开始撸

黄轩这样的男人,适不适合结婚?
私房话

黄轩这样的男人,适不适合结婚?

1743 宛央女子

●作者╳林宛央●来源公号╳宛央女子●配图╳来自网络,如侵权请联系删除____宛央有话先说:微信又又又改版了。现在iphone用户只有加了星标,才能第一时间看见宛央的推文哦。所以,使用iphone手机的宝宝们,记得星标宛央哦。加星标的方法,非常简单:最近在家看电视剧《创业时代》,这部剧主要讲男人的创业时代,但打动我的却是其中一个女性角色。剧中有一个情节,几乎只