SEO篇章:专注于SEO优化,分享最新搜索引擎新闻动态!再牛逼的技术,也抵不过冒着傻气的坚持!

SEO优化 > 追踪热点 / 微软首席研究员童欣:网络图形,从交互到智能

微软首席研究员童欣:网络图形,从交互到智能

SEO篇章 2016-11-17 23:19:27 追踪热点

  十五年前,2001年的时候研究院决定成立个新的Graphics Group,当时起名叫做Internet Graphics(互联网图形)。很多人见到我都问,什么是Internet Graphics?其实我们也不知道。2001年的...

十五年前,2001年的时候研究院决定成立个新的Graphics Group,当时起名叫做Internet Graphics(互联网图形)。

微软首席研究员童欣:网络图形,从交互到智能

很多人见到我都问,什么是Internet Graphics?其实我们也不知道。2001年的时候我们所有的组员集中一起做了第一个项目,叫Game download and Play。这个项目主要想做的是,我们把互联网图形数据做一个压缩,让大家不用等那么长的时间。通过很快地下载一部分数据到本地之后,马上就可以玩游戏了。这个项目可以说是非常成功,在这之后我们就开始做Siggraph了。转眼十年就过去了,我开始负责图形组。我重新问自己,到底什么是互联网图形?什么是Internet Graphics?通过对身边进行观察,我发现:

Internet与文字结合时效果很好:出现了网络文学、微博、Wikpedia等

Internet与图片结合时效果也很好:出现了Instagram、美图秀秀、500px等

Internet与视频结合时效果也很好:出现了Youtube、爱奇艺、网络直播、网红等

但是回到Graphics,好像十年过去什么都没有发生,到底出了什么问题呢?我做了一些研究,也想了下,有写粗浅的想法分享给大家。

风口上的猪想要飞起来,不是每头都可以,要满足两个条件。

第一、Everyone

内容最好每个人都能产生,都能创造。当你有互联网的时候,大家互相进行交流,内容就会有海量的增长。

目前产生一个3D的内容、Graphic的内容对于普通用户来说还是十分难的任务。即使是艺术家,也需要好几年training才能做好这些软件、模型。

我们也确实有一些设备来帮助大家做一些内容的捕捉,比如说3d Scanner等。但是这些设备基本上都是很昂贵的,而且还需要专门的实验室,普通的用户还是享受不到的。

第二、Everywhere

随着移动平台的发展,如果你的内容产生、享受、消费能扩展到每一个平台上,让大家在任何一个地方,都能进行消费。这个时候再加上互联网,就是真的飞起来了。

Everywhere方面就更悲惨了,图形学发展这么多年,所有的媒体内容都是通过一个Screen传递给大家的,某种意义上来说,我们的内容和一个视频video是没有太大区别的。

Screen在Real World和Witch World中间有个明确的界线,我们还需要鼠标、键盘、gamepad等外部设备来进行交互,这些交互和我们在自然世界中的真实三维交互是非常不同的。

现状:

在过去,即使到现在为止,我们的Graphic所有内容的创造,基本和互联网关系不大。基本的模式还是这样的:

有一些artists,他们组建了一个公司。经过很艰苦的奋斗,做了一些游戏、电影。把这些东西传递给市场上,有成千上万的消费者进行消费,还是一个传统的模式。

愿景:

基于这个想法,我们提出了一个Vision(愿景)

我们希望做一些图形学的工具、系统,能够帮助每一个人方便地产生可观看和分享的三维图形学的内容。

同时我们希望能在自然世界和虚拟世界之间,提供一些更自然的interface和交互方式。

另外在可视和一些不可视的抽象信息之间,提供一些自然的interface,做一些Visualization相关的工作。

在过去的五年中,我们也做了很多的研究,在各个方面做了很多的探索。慢慢地我们意识到,也许intelligence智能的方式可能是很好的解决方案。

有如下这些原因:

我们已经有了一些昂贵的设备,这些设备帮助我们捕捉到了大量高质量的数据。

我们有一些比较便宜的设备(比如我们现在很多人都有的摄像机),这些设备可以提供一些初始的input数据,这样就不用从无到有了。

特别是,机器学习方面的一些技术上的进展,可以让我们把一些技术用到图形学的一些工作里了。

我们提出来,也许一个比较好的解决方案是:

通过一些比较cheap devices(便宜的设备)加上一些Smart Algorithms,可能在某些时候需要一些sparse user input来产生一些三维的内容。

这里提到的Smart Algorithms,我们希望它能做两件事:

Smart Algorithms能够意识到几何数据和图形数据中的一些intrinsic(固有)的property(属性)来帮助我们产生内容。

另外一方面,我们可以用一些机器学习技术,来进行end-to-end端对端的学习。在input和output建立一些relationship和mapping,来做这样的事情。

3D Object Digitization

下面用我们研究的一个很小的方向,3D Object Digitization来做一个案例,看看我们是怎么做的。

3D object digitization:基本目标是有一个真实世界的三维物体,希望把它很完美地扫描进虚拟世界中。

在这里讲到的不仅仅是一个三维物体的几何形状,还有它所有的材质信息。

因为光有了几何信息之后,我们可能知道这个物体的形状是什么。但是物体具体是什么?只有当我们知道了材质(纹理等)、表面反射属性之后,我们才能在三维世界把它栩栩如生的体现出来。

大家可以想象这样一个工具对VR、AR内容的产生以及虚拟购物是多么的重要。

现在我们回想传统、现有的3D的解决方案是什么?

首先用一些设备扫描它的三维形状,但是在大部分情况下,所得到的三维形状都是非常糟糕的,有各种各样的Noise,很多还缺了。所有我们需要很多的人工去做一个去噪的工作,才能让几个形状变得比较完美。

捕捉材质部分,这个就更麻烦了,我们需要把它挪到专业的实验室里去。

用非常昂贵的设备,来捕捉它在各种光照、各种视点下它的外观。有了这个之后呢我们才能真正产生出一个虚拟的物体出来,可以再进行使用了。

可以看到,在这个过程中有很多障碍:

首先,在去噪方面需要很多的手工工作,而且需要艺术家来做这个工作。

其次,我们的设备都很昂贵,特别是做材质捕捉很昂贵。

另外,流水线很长。我们要先捕捉几何,在用另外的设备捕捉材质,这两个的数据要融合到一起很麻烦。

现在可以来看下用一些Intelligence的Algorithm可以帮我们做些什么东西?

我们想做的事情很简单:

一个是,假设对一个真实的物体我们做了一个3D的扫描。这个物体上有很多噪音,坑坑洼洼的,我们想全自动地把上面的噪音全部除去。在去除噪音的时候,我们同时希望一些好的东西,比如几何等一些小的细节能保留下来,不要都去掉了。

另一个是对不同设备扫描的数据,这个算法能同时一招就处理掉。

为了做这件事情,我们做了一个learning(学习)的algorithm(算法):

首先捕捉了一些ground truth的东西,扫描了一些带噪音的东西。在这两者之间,我们学习了一个mapping,有个mapping之后我们可以在runtime的时候给定一个match就能实现。

我们很惊喜的发现,这个算法在用户使用的时候是全自动的。只需给一个match,就全自动给你做好了,不需要再去tune任何的参数。

第二个是我们的算法第一次超过了在所有不同的输入上,它的accuracy准确度以及重构的质量,第一次超过了所有已知的算法,同时我们的算法还要比所有已知的算法都要快。

我们很快会把Source Code源代码以及Data数据分享给大家,大家每个人都可以尝试继续在上面进行研究。

总结:

过去几年中,我们在很多方向上都做了努力。我们逐渐认识到,也许智能方法(Smart Algorithm)是能让Graphics Contents for Everyone实现的一个更好地解决方案。

在这里也要分享一些过程中得到经验,或者说是教训。

第一、Open-minded

要勇敢地借鉴各个方面的一些算法来做我们自己的东西。

第二、Concentrated

Open-minded像是一本很厉害的武功—吸星大法,可以把别人的东西全部吸过来。但是光有这个还不行,还要有本易筋经,把东西化为自己的,解决自己本身的问题。

第三、End-to-End

很多时候我们发了一篇Paper就感觉很满足了,但是现在对我来说发Paper只是表达的一个手段,更重要的是想把问题真正的解决掉,给用户提供一个真正的End-to-End的一个解决方法。

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至245858536@qq.com,我们将及时沟通与处理。本站内容除非来源注明SEO篇章(www.seopz.com),否则均为网友转载,涉及言论、版权与本站无关。

本文地址:https://www.seopz.com/redian/3670.html

当前位置:SEO优化 > 追踪热点 > 微软首席研究员童欣:网络图形,从交互到智能

Tags:热点新闻

搜索
网站分类
标签列表