泉州榮金网络科技有限公司
联系电话
新闻中心 News center
联系我们 Contact us
  • 电 话:
  • 手 机:
  • 联 系人:
  • 邮 编:
  • 网 址
  • 地 址:
智能小视频解决方案上线端到端全链路需求一站
发布时间:2019-09-10 10:07

  8月29日的“ABC SUMMIT 2019”百度云智峰会在京举行。百度智能云带着20大新产品,与近万名的客户、合作伙伴及开发者们共同见证了这场席卷而来的“人工智能工业化”时代浪潮。

  而在智能视频展台及智能视频分论坛,备受关注的百度智能云小视频解决方案以智能、创新、开放、便捷的姿态重磅亮相。

  据第三方数据显示,2018年小视频行业月独立设备数已近7亿台,2019年更是持续增长。随着大视频时代的到来,小视频已应用到各类场景中,不论是以短/小视频内容运营为主营业务的APP,还是美食、母婴、电商、生活等垂直APP,纷纷以小视频UGC/PGC的方式,争夺用户时长。其中小视频内容的差异性、创新性、丰富性成为各大APP的核心抓手。

  百度智能云移动端小视频创作SDK结合了DuMix AR 5.0人脸肢体手势环境一体化交互技术,让视频拍摄更美、更具趣味性。

  人脸特效能力能精准定位150个2D关键点,涵盖78个骨骼关键点,能输出3D人脸姿态。对于嘴部和眼球这两个最“出戏”的部位,我们提供了更加精准的解析,以保障应用层可实现更多更优的玩法。此外,我们还对人脸平面进行了三角剖分,分成264个三角形,并进行了5210个三角形人脸立体剖分,基于这个面部网格可以制作各种2D/3D贴纸、脸部变形等其他拓展。

  同时,我们预设了32个人脸表情基和15个表情语义,包含如微笑、大笑、睁眼、闭眼等一些常见的表情。通过内置的19套塑形参数、5种基础美妆、3D立体妆容等更加高阶的能力,可以满足开发者对于人脸特效玩法的各种需求,如美妆美体、微整形、多人实时换脸和个性化美颜需求等。并且在应对光照剧烈变化、大角度追踪、抖动遮挡这些复杂情境都能表现出很强的稳定性和鲁棒性。

  手势特效预设了8种手势语义,包含21个关键点,能够复原出3D的手掌姿态;肢体特效提供59个轮廓点、18个关节点两种输出方式,其中18个关节点的识别速度,全机型测试最多不超过6.7毫秒;人像分割更是达到IOU 93.76%的高指标。

  从人体跟踪到物理世界大场景跟踪,依靠低成本的地图采集和在线融合跟踪方案,百度AR推出了VPAS视觉定位与增强服务,用户在打开时省去了扫描平面这一步骤,体验路径更加顺畅。开发者可以在真实世界中构建更加宏大的虚拟场景,我们提供的实时渲染能力对于26万面大场景在普通手机上的渲染帧率也达到了30fps。

  大多数厂商的小视频AR特效SDK是以一个黑盒的方式提供给开发者,开发者无法融入自己更多的算法和能力,无法灵活扩展迭代自己的需求,只能强依赖于供应商的迭代速度和基础能力。因此,为了降低使用门槛,让开发者们自主可控,百度DuMix AR平台对架构进行了整合和改造,确保开发者可以自主高效地进行能力和玩法扩展。

  如下图所示,在算法层,开发者可以灵活加入自研或外采的其他算法和能力;在架构层,提供了标准的管线搭建API、算法调度API、场景操作API以及易扩展、可编程的渲染管线;在应用层,针对不同需求的互动特效贴纸的制作者,百度DuMix AR特效开放平台也提供了两套不同的工具:具备创意技术能力的PGC企业组织可以应用Maya插件工具进行内容制作,也可以通过生态合作伙伴进行定制化生产;而广泛的个人开发者则可以使用PC端的编辑器DuMix AR Studio和移动端预览工具DuMix AR Cam进行开发和实时调试。

  除了AR特效外,百度智能云小视频创作SDK工具还提供了强大专业的后编辑能力:

  Vlog剪辑:支持多段视频剪辑、拼接、添加、删除,以及视频/图片混编,可灵活调整片段的顺序,可进行画面旋转,可添加转场特效,缩略图时码线可实时预览视频内容等。

  双语字幕:通过语音识别能力一键将语音转化成文本叠加字幕,并通过智能翻译自动实现双语字幕。此外还提供了多种字幕包装样式,支持编辑字幕颜色、字体等,支持设置字幕背景、逐字运动等效果。

  编辑特效:除了拍摄特效外,在视频编辑阶段,也提供了丰富的特效能力,包括:画面特效-黑白、放大、灵魂出窍、抖动等;分屏特效-三屏、六屏、九屏特效等;时间特效-反复、变速、倒放等等;转场特效-淡入、渐变等基础特效和多种绚丽高级转场。

  时光相册:利用AI图像理解技术,根据人脸/地点等实现照片智能聚合,并根据风格内容理解,自动匹配最优的主题模版、标题字幕和背景音乐。

  音频编辑:我们联合太和音乐提供了60w+的音乐版权库,支持资源灵活对接和配置等。同时,我们提供音轨分离,多段音频的剪辑,音频的转场特效等编辑能力。

  除了小视频SDK外,百度智能云构建了智能小视频端到端全链路解决方案,提供了采、编、播、管、存、发等小视频一站式服务,开发者仅需简单几步即可拉起一个小视频APP。在小视频竞争白热化的阶段,让您能更快更高效的上线小视频业务,专注业务运营,赢在起点。

  智能小视频解决方案涵盖了移动端和服务端,移动端包含了小视频创作SDK、播放器SDK、FEED流、完整APP模版,服务端包含了小视频的管理、存储、转码、抽帧、审核、去重、标签化、分发、个性化推荐等。其中,小视频创作SDK提供了全面智能的AR特效和视频编辑能力,激发用户创新玩法,打造内容差异化。而MCT智感超清转码在保证同等画质的情况下,大大降低了视频码率,大幅度降低了带宽存储成本。自动审核/智能去重/智能标签更是提高了内容管理运营的效率和小视频分发推荐的质量。

  基于百度智能云在ABC领域的技术实力,智能小视频解决方案充分展现了AR、AI、渲染能力上的优势,为视频企业带来了最IN、最全、最智能的解决方案,助力企业及广大开发者快速、高效、低价上线短视频业务。未来,百度智能云将继续赋能行业,全面引领短视频行业新风向。

泉州 | 数码 | 互联网 | 科技 | 智能 | 移动互联 |
趋势 网站地图
新材料为本的行业综合服务商,洁净室工程设计、施工、维护,超净产品研发、生产、销售于一体的行业系统解决方案服务