数字人播新闻如何实现的?“天马杯”决赛将进行技术大揭秘

来源:新华网时间: 2023年07月06日

随着大模型元宇宙热潮日渐高涨,虚拟主播、虚拟客服等数字人已从科幻走进现实。这样的虚拟数字人是如何打造出来的?5月19日举行的全国首个高校大模型元宇宙科创大赛——第四届“天马杯”全国高校科技创新大赛(简称“天马杯”)决赛将为大家揭秘。

  据大赛主办方马上消费金融股份有限公司(以下简称“马上消费”) 副总经理兼首席信息官蒋宁介绍,本次大赛将赛道集中在前沿科技领域,以元宇宙为核心,设置了2D数字人驱动、3D数字人驱动、NLP(自然语言处理,属于人工智能的一个子领域) 三个赛道。

  其中,2D数字人驱动赛道的赛题为“语音驱动数字人口型生成”,3D数字人驱动赛题为“视频驱动人脸生成”,NLP赛道赛题为“数字人播报资讯内容生成”。在前期的预赛中,参赛团队围绕这三大赛题进行开发,取得了让数字人具备“人的行为模式”的创新成果。决赛中,他们将通过现场演示、答辩,展示这些创新成果。

  譬如,在2D数字人驱动赛道中,主办方提供了一系列真人录制的音画同步的短视频,以及对应的其中人脸的3DMM参数(这个参数用来表示人脸关键点位的空间坐标和形变)。有赛队基于这些数据开展建模训练,实现了通过分析语音信号中的语调、语速、情感等信息来预测说话人的面部表情。据此,可以一张图片和通过语音生成的表情参数作为输入,生成与输入语音同步的说话人人脸视频。

  在3D数字人驱动赛道中,主办方提供了一系列真人录制的人脸短视频,以及对应的其中人脸的BlendShape参数(用于描述人体表面形状变化的参数)。有赛队基于这些数据,根据输入人脸提取的关键点信息与基准的人脸关键点计算差值,然后用差值加上额外计算参数输入模型去预测人脸表情变化。据此,仅通过摄像头就能捕捉面部表情并构建3D人脸模型。

  在NLP赛道中,主办方提供了一系列基于真实新闻得到的素材——新闻以及与之相关的训练数据和测试数据。有赛队基于其中的训练数据,探索多种可行的预训练模型并最终选定一种模型,打造出了数字人新闻播音员。该数字人新闻播音员能够基于关键新闻素材(如时间、地点、人物、事件等)生成一段通畅、易读的资讯新闻。

  蒋宁表示,随着大模型概念火爆,各种虚拟数字人如潮水般涌现。另一方面,元宇宙又对虚拟数字人的语言、动作、表情等提出了更高的要求,需要虚拟数字人像真人一样“动起来”。在此背景下,“天马杯”决赛设置上述三大赛道,旨在以比赛促进数字人技术创新发展,探索让数字人能真实还原真人表情、语言和动作的新方法、新路径。

  “参加本次比赛之前,我们团队也在研究数字人,但往往更偏重理论,实用性不大。而本次比赛和我们平时的研究有一定的相关性,有利于我们将所学理论知识与实践相结合,提高团队开发数字人的技术水平。”参赛队代表USTC-Qingbo赛队队长李弘毅说。

公告

关于不法分子冒用我司名义行骗的风险提示

近期,我司监测到有不法分子通过冒充马上消费或安逸花客服、发布虚假客服热线或还款渠道、引导注册虚假APP等形式,以“添加微信办理贷款”“刷流水提额”“快速转人工”“联系客服提前还款”“发送虚假APP链接”等手段实施诈骗。为维护广大消费者合法权益,现就相关事项提示如下。

  • 一、认准官方电话。我司官方客服热线号码为95090(9:00-22:00),还款热线号码为400-032-8876(8:30-21:30)。
  • 二、认准公司产品。我司旗下产品有安逸花、马上金融和优逸花,您可通过我司官网https://www.msxf.com/product或手机端官方应用商店下载公司对应产品的APP,切勿点击不明第三方链接或下载仿冒APP。
  • 三、核实客服真假。我司客服不会通过私人QQ或微信指导办理贷款、提额、还款等业务。不会以“保证金”“认证金”“工本费”名目收取费用。也不会向您索要银行卡密码、验证码,更不会要求您下载视频会议软件共享屏幕
  • 四、还款注意事项。我司旗下产品,任何情况下都不会要求您还款至私人账户。通过短信链接还款时,注意核对对应的还款信息。
  • 五、对冒用我司名义欺骗消费者的行为,我司予以坚决打击。若您遇到诈骗,请立即拨打反诈专线96110或报警电话110,并保存通话录音、聊天记录等证据。
  • 请广大消费者提高警惕。如遇到无法辨别的情况,或者在使用中有任何疑问,请及时拨打我司官方客服热线95090核实。

下载APP

扫码下载APP申请额度

投诉建议

调解室

在线咨询

官方微信

投诉建议
我的反馈

    提交成功

    您的反馈已受理

    请在投诉建议中查看反馈进度,感谢您的支持与建议

    关闭
    小马客服