金鑫优配-口碑最好的配资平台-我国合法的配资平台

  • 中金:从OpenAI Sora看视频生成模型技术进展

我国合法的配资平台

你的位置:金鑫优配-口碑最好的配资平台-我国合法的配资平台 > 我国合法的配资平台 >

中金:从OpenAI Sora看视频生成模型技术进展

发布日期:2024-02-25 13:04    点击次数:61

  中金公司研报指出,2月15日,OpenAI发布最新视频生成模型Sora,能够生成长达一分钟的分辨率为1920*1080的高质量视频,在生成时长和生成质量上较其他现有模型和产品实现了明显突破。

  中金认为,Sora实现了AI+视频场景的效果突破,通过借助Transformer架构展现了优异的可拓展性(Scalable)。展望未来,我们判断基于Transformer架构的大模型有望在更多模态领域实现复刻,看好多模态领域技术进展。

  以下为其核心观点:

  延续DiTs架构,Sora实现高质量长视频生成。根据技术报告,Sora延续DiTs架构,随训练计算量提升而展现出显著的生成能力提升(Scalable)。相较先前模型,我们认为其最为突出的创新之处在于:1)LDM自编码器实现时间维度压缩,使得长视频生成成为可能;2)直接对LDM中潜视频进行图块化处理并直接使用Transformer建模,解除输入格式限制的同时,能够创新性地实现任何像素和长宽比视频的生成;3)我们判断其训练数据集中可能包含带有物理信息的合成数据,从而使模型展现出对物理信息的初步理解能力;4)复用DALL·E 3的重标注技术,对视频数据生成高质量文字标注,借助GPT对提示词进行扩展,提升生成效果。

  技术基础一:扩散模型是当前图片/视频生成的主要技术路线。扩散模型(Diffusion model)通过神经网络(主要是U-Net)从纯噪声图像中学习去噪过程,从而通过给定噪声来完成图像生成任务。潜在扩散模型(Latent diffusion model)通过降维进一步提升了训练效率并降低训练成本,成为图片生成的主要技术路线。在预训练的图片生成模型基础上,学界提出生成关键帧并在时序上实现对齐即可将图片生成模型转化为视频生成模型,但这类模型存在生成时长短、稳定性差等劣势。

  技术基础二:Transformer架构的引入使扩散模型能够实现规模效应。DiTs(Diffusion transformer)将先前扩散模型的骨干U-Net卷积网络替换为可伸缩性更强的Transformer,从而能够实现更强的可拓展性,即能够通过增加参数规模和训练数据量来快速提升模型的性能表现,模型在图片生成任务上表现优异。W.A.L.T.首次将Transformer架构引入视频生成模型,使用窗口注意力降低了对算力的需求,并展现了良好的视频生成能力。

  我们认为Sora实现了AI+视频场景的效果突破,通过借助Transformer架构展现了优异的可拓展性(Scalable)。展望未来,我们判断基于Transformer架构的大模型有望在更多模态领域实现复刻,看好多模态领域技术进展。

  风险

  技术进展不及预期;应用落地不及预期;行业竞争加剧。



相关资讯Related Articles

  • 氢能源板块狂飙:政策利好频出,2024年或成氢能源产业爆发元年

    2024-05-07

    (原标题:氢能源板块狂飙:政策利好频出,2024年或成氢能源产业爆发元年) 近期,氢能源板块狂飙,市值超过6万亿元,涨幅接近5%,数十只股票涨停。这一现象的背后,是政策利好的频繁出台。山东省交通运输厅、山东省发改委、山东省科技厅三部门近日发布《关于对氢能车暂免收取高速公路通行费的通知》,自2024年3月1日起,对本省高速公路安装ETC套装设备的氢能车辆免收高速公路通行费,试行2年。此外,内蒙古自治...

  • “东西两翼齐飞” 深圳两项赛事获评中帆协年度优秀大众赛事

    2024-05-03

    南都讯 记者吴春熠 潘莹瑜 近日,中国帆船帆板运动协会2023年度中国帆船优秀大众赛事颁奖仪式在青岛举行。深圳的本土赛事,中国杯帆船赛以及世界帆船对抗巡回赛•宝安总决赛暨世界湾区帆船赛双双荣获“2023年度中国帆船优秀大众赛事”,此番获奖也代表着中国帆船帆板运动协会以及中国帆船大家庭对深圳整体办赛组织能力及成果的高度认可。 据了解,中国杯帆船赛是深圳打造的国际品牌大帆船赛事,已成功在深圳大鹏举办十...

  • 安博教育盘中异动 早盘股价大跌7.41%

    2024-04-29

    北京时间2024年02月26日22时44分,安博教育(AMBO.us)股票出现波动,股价大幅下挫7.41%。截至发稿,该股报2.31美元/股,成交量7518股,换手率0.27%,振幅7.41%。 最近的财报数据显示,该股实现营业收入2.73百万美元,净利润-1.00百万美元,每股收益-0.35美元,毛利1.22百万美元,市盈率-4.81倍。 机构评级方面,目前暂无机构对该股做出“买入、持有、卖出”...

  • 禾丰股份新提交“GOLDEN HARVESTA”商标注册申请

    2024-04-22

    证券之星消息,根据企查查数据显示,近日禾丰食品股份有限公司新提交“GOLDEN HARVESTA”商标注册申请。商标申请详情如下:...