您的位置:首页 > 互联网

虎牙直播发布黑科技AI弹幕 可自动闪避人像

发布时间:2018-11-13 15:44:58  来源:互联网     背景:

  时至今日,我们在观影、追剧、直播时,发弹幕已成为大部分用户的行为习惯。常规弹幕目前实现了弹幕与视频分离,用户可二选一,很好的规避了弹幕满天飞的混沌状态。但在直播、二次元等诸多的场景中,用户更希望在不压缩视频质量的情况下同时享受“看”与“说”。

  “(Dan)幕”这个词源于射击游戏,弹幕网站也源于此, Niconico视频网站是相对较早拥有弹幕功能的网站。随后,弹幕网站凭借共鸣性、易操作性,及人人都能享受的再创作娱乐化与对话语权等特性风靡。

  自动躲避人像的弹幕

  近日,游戏直播平台虎牙发布了AI智能弹幕功能,满足了用户“看”与“说”同时进行的需求,当用户在弹幕设置中选择该功能后,弹幕就会自动躲避人像。也就是说,在直播过程中,用户可以清晰的看到主播的整个脸以及整个轮廓。

  虎牙AI产品总监表示,在“大主播直播间、上电视玩法进行时”等场景下,常常会出现高密度弹幕的现象,高密度弹幕会遮挡住主播,对于希望看到主播的用户来说是一种干扰,而关闭弹幕又让用户无法看到精彩弹幕内容且无法与其他用户进行互动交流。为了改善这种现状,许多视频企业开发出了精简弹幕、半屏显示以及调节弹幕透明度等多种手段,但这些依然不是最完美的解决方案。

  虎牙直播采用背景分割技术,能较好处理人和背景分离,实现智能弹幕。这项功能在虎牙娱乐品类得以实践,而在有效分割了游戏主角和背景方面,虎牙表示后续该功能会继续在游戏品类进行尝试拓展。

  AI智能弹幕背后的那些技术

  虎牙AI技术负责人表示,AI智能弹幕功能背后有两大核心技术,智能识别人像和人像掩码的智能压缩。

  实时端上智能识别人像。实时端上智能人像动态识别的技术原理是利用计算机图像分析、模型理论、人工智能及模式识别技术的非接触性高端模式识别技术,从复杂的图像场景中检测出特征人脸信息,并进行匹配识别的智能分析过程。

  人像掩码的智能压缩。 利用人工智能技术识别出 “人像”区域像素集掩码(mask),把掩码用智能压缩技术 压入视频流,观众端再把掩码跟视频帧同步解压。帧跟掩码一一对应,就可以知道帧中人像的精确位置。

  在专访中,虎牙AI技术负责人还向我们介绍了AI智能弹幕功能的特点:

  1、常规处理弹幕的做法是“离线(Offline)”和云上处理,需要面对的只是识别问题;而虎牙是针对直播进行实时端上处理;

  2、有的网站采用类似PS蒙版技术,采用人工方式为特定视频添加蒙版来模糊弹幕;而虎牙则采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前;

  3、AI智能弹幕与传统直播弹幕相比,在几乎不增加带宽的前提下,把每帧的mask随视频流编码。而常规方法在视频点播的中则需要大量的流量来支撑弹幕传输。

  用“黑科技”营造极致用户体验

  当问及识别、掩码压缩、帧与掩码对应等一系列操作,尤其在直播环境下,运维方面是不是要花费很大精力,也就是说,怎样确保用户体验不受到智能弹幕功能的影响?

  虎牙AI技术负责人这样回答,端上对AI体验最大的影响是计算量。 在虎牙设计AI弹幕功能时,就考虑到了算力受限的问题。故把人像识别,mask编码放在主播端进行实时计算,不会影响到用户的体验。在用户端,仅需要增加计算解码mask和mask掩码生成,计算量非常小。但是涉及到AI背景分割技术,游戏直播中落地的可能性还有待研究。

  当前,AI技术已经在直播行业内容的生产、分发、消费、商业变现等多个关键环节进行尝试和落地。前期主要的贡献在于提升内容分发的效率,未来则会进一步变革直播内容的生产方式,提升生产效率。AI的核心技术包括语音识别、图像识别、自然语言处理,虎牙也会进一步把这些技术落地到直播视频的生产和分发中。

  直播行业发展至今,从“千播大战”到“大浪淘沙”,再到“激烈厮杀”,直播平台签约头部主播从来都不惜重金。经过很长时间争夺,游戏直播市场格局逐渐稳定,AI智能弹幕功能更是为虎牙直播锦上添花。






特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
中兴通讯披露转让子公司进展 阿里巴巴将分期付款
中兴通讯25日发布公告披露向南京溪软企业合伙企业(以下简称“南京溪软”)转让所持控股子......
日期:09-26
移动网络越来越快:Wi-Fi正在被边缘化
近段时间,业界传出了Wi-Fi将要被杀死的言论,这是建立在一定的基础之上的。...
日期:11-26
面对中国教育「困境」,AI 如何成为破局点
「AI+教育」到底该如何落地,才能真正促进教育行业的进步?松鼠 AI 智适应教育在极客公园创新之火的......
日期:09-25
百度、头条先后杀向小程序新入口 哪些赛道会顺势而起?
继腾讯、阿里、百度之后,头条入局,小程序之战再次升级。 9月25日,今日头条小程序内测一周后,百度宣布智能小程序开放...
日期:09-27
苏宁拼购发力社交电商
(原标题:苏宁拼购发力社交电商 新进者如何差异化破局?) 在纯电商红利天花板到来的同时,移动社交的生态却释放了新的流量...
日期:11-14
重磅!Microsoft、SAP和Adobe宣布开放数据计划
9月25日消息,今天,在Microsoft Ignite开发者大会上,Microsoft、SAP和Adobe这3家世界级的软件巨头......
日期:09-25
微软Whiteboard白板App iOS版正式发布下载
9月26日消息 微软Whiteboard(白板)可以让多名用户共享应用画面,在上面进行涂写、笔记等操作,在进......
日期:09-26
奇点派:天猫双11十年发展趋势及线下新零售分析报告
导读:2009年,淘宝在11月11日举办的大型促销活动改变了这一天“光棍节”的原有设定,在当......
日期:11-16
提升网络素养,兰迪少儿英语培养互联网时代的学习者
2018年4月发布的教育信息化2.0行动计划,树立了 “三全两高一大”的目标,即教学的全面应......
日期:11-22
【OA技术派】华天动力OA 基于工作流的智慧OA平台
中国特色的市场环境造就了中国企业独特的管理模式,所谓管理,无非是计划、组织、执行、控制企业内......
日期:09-29
AI透明度引发关注 科技巨头推工具解释算法决策过程
北京时间9月27日消息,人工智能技术的透明度和道德伦理问题正引发越来越多的关注,这促使云计算服务......
日期:09-27
2020年上市:Inter提前半年推出XMM 8160 5G基带
(原标题:Intel发布XMM 8160 5G基带:6Gbps、2020年商用)...
日期:11-13
警惕挖矿木马攻击服务器 谨防电脑沦为“肉鸡”
电脑出现卡顿、进程缓慢、发热耗电快等情况,可能是挖矿木马在捣鬼。安全专家表示,近年来,挖矿木......
日期:11-19
网易有道田振兴:始于AI 赋予教育
9月27日,第25届中国国际广告节中国网络领军品牌2019黄金资源联合推介会于哈尔滨举行。作为本届广告......
日期:09-27
【OA技术派】华天动力OA 基于工作流的智慧OA平台
中国特色的市场环境造就了中国企业独特的管理模式,所谓管理,无非是计划、组织、执行、控制企业内......
日期:09-29
一加6T发布时间曝光:水滴全面屏配骁龙845
之前就有消息称,一加可能会在下月17号发布新机,现在来看这事还是基本靠谱的,有网友已经放出了邀......
日期:09-26
5秒通行!湖南全省439个高速收费站支持微信支付
9月28日18时,湖南高速公路集团有限公司携手微信支付,正式启动湖南高速收费站微信扫码付费功能(除......
日期:09-29
乐视网发布澄清公告:贾跃亭仍为第一大股东 未发生变更
9月26日消息,乐视网日前发布澄清公告称,截止目前,天津嘉睿持有上市公司股权比例不变,为8.56%,......
日期:09-26
超融合GPU云加速测绘信息化升级 ZETTAKIT泽塔云成行业领军者
信息全球化的今天,几乎所有的行业从来没有像现在这样,如此深度依赖基础地理信息,它无时无刻不在......
日期:09-29
从“新零售”到“新制造” 阿里巴巴的下一步
从“新零售”到“新制造”,阿里巴巴的“五新”战略有了发展引擎。...
日期:09-25