京东黑科技AI视频换脸火爆技术创新打造首部全民定制大片

2019-10-01 18:51:01  阅读:4159+ 作者:责任编辑NO。魏云龙0298

在全国人民喜迎新我国建立70周年的欢庆日子里,一部名为“70年,我是主角”的微电影瞬间刷爆朋友圈。200秒时长浓缩了新我国70年的辉煌成就、风雨沧桑,网友们纷繁大喊过瘾。人民日报新媒体还上线了由京东AI和京东云供给技能支撑的视频换脸使用,让每位网友只用一张自己的相片就能够成为电影里的主角,穿越70年,过一把明星瘾——我国榜首部全民定制大片在国庆前夕描绘出浓墨重彩的一笔。

视频换脸背面的黑科技

近一段时间以来,多款AI换脸的游戏在网上出现,传神的换脸作用不由让人们感叹技能的奇特。特别是这个全民定制大片中京东支撑的AI视频换脸,作用更能够用冷艳来描述。与许多静态图片或许超短小视频换脸不同,“70年,我是主角”供给网友用于换脸的视频片段包含了很多的奔驰镜头和频频的姿势改变,要完成高质量的换脸作用,这就需求背面有十分强壮的技能支撑系统。

据京东AI研制人员介绍,视频换脸关于AI算法提出很高的要。电影主角的接连奔驰及姿势改变,给脸部定位带来较大困难。针对此需求,京东AI开发了依据RefineDet的阶段选择性改进版人脸检测网络算法,在业界尖端人脸检测榜单“WIDER FACE”三项评测会集均以优异功能排名榜首,展示出京东AI超卓的人脸检测技能实力。

相片中的人脸是平面的,到了视频中各种视点展示,就需求立体化,人脸3D要害点检测技能是此次视频换脸中的要害环节。京东AI使用3D要害点检测技能来定位人脸区域的5万多个要害点,并依据这些要害点对人脸进行重构。即便当艺人的脸部彻底侧转时,换脸作用也能坚持流通,你会看到自己侧脸的完美出现。

在微电影中,男主角频频在火车车厢、室内、野外、夜间等不同场景下络绎,视频中的光影极为多变。特别男主角脸部的明暗差异改变十分大,这就给人脸要害点检测及烘托都带来了困难。对此京东AI采用了在纹路图上进行交融处理的方法,让纹路的生成独立于头部姿势的改变,从而使换脸愈加的连接和天然。

AI视频换脸的人脸解析进程

京东集团副总裁、京东人工智能事业部总裁、京东人工智能研究院院长周伯文博士表明,很快乐与人民日报在人工智能+融媒体方面达到全面的协作,特别是这次协作的立异项目落地让群众能够经过AI技能“跨时空光影”感触祖国70年变迁的雄伟进程。一起,使用于此次活动的AI技能现已系统性、大规模、全流程地布置在零售、市政服务、融媒体等场景中,以AI技能为代表的前沿科技正在赋能并助力传统经济转型晋级。

视频换脸对系统发生的技能压力非比寻常,与近期比较盛行的相片换脸比较,一个用户定制大片视频换脸所需运算量就相当于数百次次相片换脸。要完成对海量用户的高质量支撑,除了要在AI视觉算法上有十分全面的技能才能,还需求高水平、高可用的云核算支撑系统。

为了支撑此次京东与人民日报新媒体协作的AI电影换脸,京东云定制化调配了很多的服务器、GPU集群、CDN网络加快等技能支撑资源。针对海量视频使用的高并发需求,京东云在图片、视频的存储、智能剖析、交融处理等方面定制了高效能的解决方案,并对图画、视频处理的算法进行继续优化,从每一秒、每一帧下手提高AI换脸进程的功率和体会。

京东云数据中心

京东云具有我国最大的GPU集群之一,京东云GPU服务器结合京东丰厚的使用场景资源优势及技能实力,为企业面向人工智能等新事务、新商业模式转型供给安稳、牢靠、灵敏并低成本的开展环境,能够供给深度学习、科学核算、全方位运维等支撑,这些才能均在此次视频换脸项目中发挥了重要作用。关于每一位网友来说,AI换脸仅是点击几下手机屏幕,但背面表现的是京东在云核算、大数据、人工智能等范畴强壮的技能才能。

他们现已在享用换脸背面的黑科技

看起来十分炫酷的视频换脸使用中的AI和云核算技能实际上是京东的“看家本领”,不只协助京东更好地服务顾客,也协助很多协作伙伴进入技能立异的快车道。例如这次换脸使用中中心的GPU集群,正是京东云为影视职业供给全面的云核算解决方案与服务之一。针对视频烘托范畴,京东云与国内抢先的云烘托渠道渲云进行深度协作,为渲云定制了烘托解决方案。渲云所需的云主机可完成弹性扩张,并能按需供给杰出核算功能。使用本身GPU和云主机核算才能富余的优势,京东云能够依据不同的烘托场景需求,供给最具性价比的云主机和GPU协作,为用户节约每一分钱。

遍布全国乃至全球的网友都能够快捷地制造自己的定制大片,背面是京东云CDN(内容分发网络)的威力。不只仅是在和人民日报的协作中,对爱奇艺等国内抢先的互联网视频供给商,京东云的CDN服务也发挥重要作用。在CDN服务方面,京东云具有全网节点数很多、带宽服务容量大、一切节点直连骨干网等优势,能够对视频网站供给负载均衡、内容分发与调度支撑,下降网络拥塞,为用户供给丰厚、高清、流通的专业视频体会。

京东云总裁申元庆表明:“数字经济年代,京东云致力于成为最具工业特点的云智能厂商。当下工业互联的需求多元化、场景碎片化、价值个性化要求云厂商朝着智能化的方向开展,京东云在数据、场景、技能、生态等方面的优势,经过人工智能等前沿技能为社会发明技能普惠价值。”京东云作为京东集团重要的技能赋能窗口,经过与具有工业特点的AI才能的结合,赋能工业开展的新生机,满意用户功率提高需求、使用立异需求和事务开展需求。

使用在换脸使用中的京东人脸检测与辨认技能现在已广泛使用到京东智能门店、京东7FRESH线下商超等实体零售场景之中。在京东与德清联合打造的多模态交互政务机器人——蜂巢城市归纳服务机器人和同冯氏集团联合打造的智能商业显示屏中,京东AI研究院先进的人脸检测与辨认技能表现出巨大价值。现在京东AI研究院的人脸检测与辨认技能已构成老练的技能解决方案,经过京东NeuHub人工智能渠道对外协作,助力传统制造业、实体零售职业等多维范畴转型晋级。

针对银行场景,京东AI打造了第二代蜂巢智能空间“金融太空舱”,交融了核算机视觉、智能对话、语音、机器学习等技能,成为银行网点、手机app之外的新一代智能服务终端,现在已在我国建设银行协作落地。金融太空舱使用业界抢先的人脸辨认技能,能够辨认动态抓拍的人脸,为银行用户供给高私密性金融服务。

京东AI与建行协作的第二代蜂巢智能空间“金融太空舱”

本年6月,京东AI研究院在世界核算机视觉尖端会议CVPR 2019上取得3项学术竞赛榜首,分别为视频动作辨认、产品图片辨认,以及精密粒度蝶类图片辨认。此外,京东AI还在多人人体解析、菜品类图画辨认、LIP单人及多人姿势估量赛道等多项世界尖端赛事中获奖。

媒体职业是京东重要的技能协作范畴。日前人民日报才智媒体研究院建立,作为人民日报才智媒体研究院的理事单位,京东环绕“5G+AI”年代下的融媒体场景,与人民日报等媒体进行亲近的协作,为媒体供给强壮的根底设施。

十几年来,京东在云核算、大数据、人工智能、物联网和零售科技等多方面积累了很多的资源和技能成果。跟着京东从“一体化”走向“一体化的敞开”,京东正逐渐从一家电商零售渠道转型为“以零售为根底的技能和服务企业”,京东沉积多年的才能和资源正在全面敞开,服务协作伙伴,更多的顾客和协作伙伴也能越来越多地感触到京东坚实的支撑和立异的火花。在新我国建立70周年之际,新的工业革新晋级机会正在眼前,以京东为代表的我国科技互联网企业将用技能立异推进工业晋级,带动国内经济继续高速开展。