之所以认为是神话,是因为科技程度还达不到。
——高铭《天才在左疯子在右》
用一段文字描述就可以形成一段“真实”的视频,曾经想象中的场景如今已经实现!
春节假期尚未结束,OpenAI发布的新一代文字生成视频模型——Sora就已经引发热潮,通过文字生成1分钟的高质量视频,极其真实、个性化的视频表现,且符合现实世界物理规律的图像,令人惊艳,这也直接带动了资本市场的表现。
Sora模型有何特点,龙年AI投资有哪些趋势?本期《风向》将为您一一梳理。
文本转视频,时长达1分钟
一个视频胜千言,从OpenAI放出的视频来看,通过一长串的提示词,诸如“几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走近”,AI就生成了极其真实的动态画面场景。
资料来源:OpenAI官网
提示词:几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走近,它们长长的毛茸茸的皮毛在风中轻轻飘动,远处覆盖着积雪的树木和雄伟的雪山,午后的阳光下有缕缕云彩,太阳高高地挂在空中距离产生温暖的光芒,低相机视角令人惊叹地捕捉到大型毛茸茸的哺乳动物,具有美丽的摄影和景深。
如果不是猛犸象已经灭绝,或者视频标注了AI生成,我相信包括笔者在内的很多人会认为是实拍镜头。
不仅仅是动物,人物和场景表现也极其真实。
资料来源:OpenAI官网
提示词:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
根据OpenAI官网的介绍,Sora能够生成具有多个角色、特定类型的运动以及主体和背景的准确细节的复杂场景,该模型不仅了解用户在提示中提出的要求,还了解这些东西在物理世界中的存在方式。
其次,该模型能够更加准确的理解人类给出的提示词,借助GPT的能力,Sora将用户的简短提示转换成更详细的提示,使其能够准确地解释提示词,并生成质量更高的图像。
如同电影中常见的多机位拍摄,Sora模型还可以在单个生成的视频中创建多个镜头,准确地保留角色和视觉风格。而且生成的视频也可以重新编辑,比如让植被更加茂密等等,如果嫌视频的时间过短,也可以让AI向前或向后拓展视频。
Sora的技术报告显示,OpenAI并不是把Sora单纯当作一个视频模型来看待,而是将视频生成模型作为“世界模拟器”,不仅可以在不同设备的原生宽高比直接创建内容,还能展示出对真实世界的模拟能力,如3D一致性、长期一致性和对象持久性等。
依托于大语言模型,让机器模仿人
根据公开资料,在文生视频领域,比较成熟的模型思路有循环网络(RNN)、生成对抗网络(GAN)和扩散模型(Diffusionmodels)。
结合OpenAI官网下的文献参考,Sora为使用Transformer架构的扩散模型。它从看起来像静态噪声的视频开始生成视频,然后通过多个步骤消除噪声来逐渐对其进行转换。
如果用通俗但不太严谨的话来解释,之前的GAN模型更多的是对其他图片“形”的模仿,而扩散模型更多的是对“神”的模仿,比如图像内涵,图像与图像的关系等等。
随着训练计算的增加,样本质量显着提高
图片来源:Sora技术报告
在其技术报告中,Sora可以将图片和视频转化为补丁,从而可以用更广泛的数据训练。OpenAI将图片和视频数据转化为统一的表示方式——补丁(patches)来进行训练,补丁类似于大语言模型中的tokens,并且可以高度扩展。通过统一数据的表示方式,Sora可以用更广泛的数据训练,使生成的视频更加真实。
目前Sora模型还在进行安全测试,仅向有限的创作者开放。据彭博社预计,GPT-4经过6个月的测试后正式开放,参考GPT-4,预计Sora或将于8月向公众开放。
政策端大力鼓励,国内AIGC商业化已全面铺开
去年8月底,国内首批大模型产品通过《生成式人工智能服务管理暂行办法》(下称《办法》)备案,可正式上线面向公众服务。
去年下半年,一批国内大模型陆续向社会开放,C端商业化逐步铺开。此前,这些大模型厂商已开始布局B端部分场景,与多家企业签订合约。当前国产AIGC在BC两端同时发力,商业化全面铺开,已脚踏实地开启赚钱之路。上述备案完成与《办法》正式实施日相隔仅半个月,体现监管层对这一新兴产业的鼓励态度。
去年9月初,工信部和财政部联合印发《电子信息制造业2023-2024年稳增长行动方案》再次强调了对人工智能和大模型发展的重视,表示要推动先进计算产业发展和行业应用。
目前,国内AIGC的产业架构分为基础层、中间层和应用层。
整个AI生成内容链条第一层是基础层,也是由大语言模型为基础搭建的AIGC技术基础设施层。
第二层为中间层,及垂直化、场景化、个性化的模型和应用工具。预训练的大语言大模型是基础设施,在此基础上可以快速抽取生成场景化、定制化、个性化的小模型,实现在不同领域的应用部署。
第三层为应用层,面向C端的文字、图片、视频生成等内容的生成服务。侧重于用户的使用体验和需求,使得用户可以用消费级的显卡算力挖掘丰富的内容,包括ChatGPT、Sora等等。
根据中国电子学数据,2021年中国人工智能核心产业市场规模为1300亿元,同比增长38.9%。根据《新一代人工智能发展规划》,到2025年,我国人工智能核心产业规模将超过4000亿元,带动相关产业规模超过5万亿元。
投资方向怎么选?
中信证券研报认为,从投资角度来看,Sora背后的涌现能力为自动驾驶、设计等需要现实世界建模的行业提供了明确方向。Gemini在短期内的部分商业场景表现可能会更为出色,尤其是需要结合图片与文字的多模态应用场景。除去应用端的投资机会,硬件端的需求也必然会随着多模态的技术进步而不断提高。
从AI投资的角度看,嘉实基金大科技研究总监王贵重认为,随着OpenAI和GPT4的面世,意味着AI从弱人工智能向强人工智能的迈进。目前,AI行业正处在在一个爆发的起点,未来随着大模型成本的不断下降,AI赋能各行各业将会成为一种可能。所有跟信息技术相关的领域都会迎来一定程度的重塑,但仍有大量的长尾的应用没有得到显著的满足。
目前科技投资的整体架构分为底层的基础设施、芯片层、服务器层,云层,再到上面的大模型、专用模型,最后到各个行业的应用,未来需要在整体的研究图谱中密切跟踪各个行业的发展进度。
最看好的环节依然是AI应用。第一,曾经被互联网改变的行业会再一次被AI改变。首先是内容,无论是一维媒介文字,二维媒介图片,三维媒介视频,四维媒介游戏,还是社交、搜索、短视频、电商,我们用的互联网应用都会集成AI功能。第二,软件会从功能软件到智能软件,软件的能力会进一步提升,帮我们做更多的事情,交互也会更加友好。无论是办公、OA、CRM、ERP,甚至一些专业的画图、EDA等工具。
风险提示:基金有风险,投资须谨慎。投资人应当阅读《基金合同》《招募说明书》《产品资料概要》等法律文件,了解基金的风险收益特征,特别是特有风险,并根据自身投资目的、投资经验、资产状况等判断是否和自身风险承受能力相适应。基金管理人承诺以诚实信用、谨慎尽责的原则管理和运用基金资产,但不保证基金一定盈利或本金不受损失。过往业绩不预示其未来业绩,其他基金业绩不构成本基金业绩的保证。
之所以认为是神话,是因为科技程度还达不到。
——高铭《天才在左疯子在右》
用一段文字描述就可以形成一段“真实”的视频,曾经想象中的场景如今已经实现!
春节假期尚未结束,OpenAI发布的新一代文字生成视频模型——Sora就已经引发热潮,通过文字生成1分钟的高质量视频,极其真实、个性化的视频表现,且符合现实世界物理规律的图像,令人惊艳,这也直接带动了资本市场的表现。
Sora模型有何特点,龙年AI投资有哪些趋势?本期《风向》将为您一一梳理。
文本转视频,时长达1分钟
一个视频胜千言,从OpenAI放出的视频来看,通过一长串的提示词,诸如“几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走近”,AI就生成了极其真实的动态画面场景。
资料来源:OpenAI官网
提示词:几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走近,它们长长的毛茸茸的皮毛在风中轻轻飘动,远处覆盖着积雪的树木和雄伟的雪山,午后的阳光下有缕缕云彩,太阳高高地挂在空中距离产生温暖的光芒,低相机视角令人惊叹地捕捉到大型毛茸茸的哺乳动物,具有美丽的摄影和景深。
如果不是猛犸象已经灭绝,或者视频标注了AI生成,我相信包括笔者在内的很多人会认为是实拍镜头。
不仅仅是动物,人物和场景表现也极其真实。
资料来源:OpenAI官网
提示词:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
根据OpenAI官网的介绍,Sora能够生成具有多个角色、特定类型的运动以及主体和背景的准确细节的复杂场景,该模型不仅了解用户在提示中提出的要求,还了解这些东西在物理世界中的存在方式。
其次,该模型能够更加准确的理解人类给出的提示词,借助GPT的能力,Sora将用户的简短提示转换成更详细的提示,使其能够准确地解释提示词,并生成质量更高的图像。
如同电影中常见的多机位拍摄,Sora模型还可以在单个生成的视频中创建多个镜头,准确地保留角色和视觉风格。而且生成的视频也可以重新编辑,比如让植被更加茂密等等,如果嫌视频的时间过短,也可以让AI向前或向后拓展视频。
Sora的技术报告显示,OpenAI并不是把Sora单纯当作一个视频模型来看待,而是将视频生成模型作为“世界模拟器”,不仅可以在不同设备的原生宽高比直接创建内容,还能展示出对真实世界的模拟能力,如3D一致性、长期一致性和对象持久性等。
依托于大语言模型,让机器模仿人
根据公开资料,在文生视频领域,比较成熟的模型思路有循环网络(RNN)、生成对抗网络(GAN)和扩散模型(Diffusionmodels)。
结合OpenAI官网下的文献参考,Sora为使用Transformer架构的扩散模型。它从看起来像静态噪声的视频开始生成视频,然后通过多个步骤消除噪声来逐渐对其进行转换。
如果用通俗但不太严谨的话来解释,之前的GAN模型更多的是对其他图片“形”的模仿,而扩散模型更多的是对“神”的模仿,比如图像内涵,图像与图像的关系等等。
随着训练计算的增加,样本质量显着提高
图片来源:Sora技术报告
在其技术报告中,Sora可以将图片和视频转化为补丁,从而可以用更广泛的数据训练。OpenAI将图片和视频数据转化为统一的表示方式——补丁(patches)来进行训练,补丁类似于大语言模型中的tokens,并且可以高度扩展。通过统一数据的表示方式,Sora可以用更广泛的数据训练,使生成的视频更加真实。
目前Sora模型还在进行安全测试,仅向有限的创作者开放。据彭博社预计,GPT-4经过6个月的测试后正式开放,参考GPT-4,预计Sora或将于8月向公众开放。
政策端大力鼓励,国内AIGC商业化已全面铺开
去年8月底,国内首批大模型产品通过《生成式人工智能服务管理暂行办法》(下称《办法》)备案,可正式上线面向公众服务。
去年下半年,一批国内大模型陆续向社会开放,C端商业化逐步铺开。此前,这些大模型厂商已开始布局B端部分场景,与多家企业签订合约。当前国产AIGC在BC两端同时发力,商业化全面铺开,已脚踏实地开启赚钱之路。上述备案完成与《办法》正式实施日相隔仅半个月,体现监管层对这一新兴产业的鼓励态度。
去年9月初,工信部和财政部联合印发《电子信息制造业2023-2024年稳增长行动方案》再次强调了对人工智能和大模型发展的重视,表示要推动先进计算产业发展和行业应用。
目前,国内AIGC的产业架构分为基础层、中间层和应用层。
整个AI生成内容链条第一层是基础层,也是由大语言模型为基础搭建的AIGC技术基础设施层。
第二层为中间层,及垂直化、场景化、个性化的模型和应用工具。预训练的大语言大模型是基础设施,在此基础上可以快速抽取生成场景化、定制化、个性化的小模型,实现在不同领域的应用部署。
第三层为应用层,面向C端的文字、图片、视频生成等内容的生成服务。侧重于用户的使用体验和需求,使得用户可以用消费级的显卡算力挖掘丰富的内容,包括ChatGPT、Sora等等。
根据中国电子学数据,2021年中国人工智能核心产业市场规模为1300亿元,同比增长38.9%。根据《新一代人工智能发展规划》,到2025年,我国人工智能核心产业规模将超过4000亿元,带动相关产业规模超过5万亿元。
投资方向怎么选?
中信证券研报认为,从投资角度来看,Sora背后的涌现能力为自动驾驶、设计等需要现实世界建模的行业提供了明确方向。Gemini在短期内的部分商业场景表现可能会更为出色,尤其是需要结合图片与文字的多模态应用场景。除去应用端的投资机会,硬件端的需求也必然会随着多模态的技术进步而不断提高。
从AI投资的角度看,嘉实基金大科技研究总监王贵重认为,随着OpenAI和GPT4的面世,意味着AI从弱人工智能向强人工智能的迈进。目前,AI行业正处在在一个爆发的起点,未来随着大模型成本的不断下降,AI赋能各行各业将会成为一种可能。所有跟信息技术相关的领域都会迎来一定程度的重塑,但仍有大量的长尾的应用没有得到显著的满足。
目前科技投资的整体架构分为底层的基础设施、芯片层、服务器层,云层,再到上面的大模型、专用模型,最后到各个行业的应用,未来需要在整体的研究图谱中密切跟踪各个行业的发展进度。
最看好的环节依然是AI应用。第一,曾经被互联网改变的行业会再一次被AI改变。首先是内容,无论是一维媒介文字,二维媒介图片,三维媒介视频,四维媒介游戏,还是社交、搜索、短视频、电商,我们用的互联网应用都会集成AI功能。第二,软件会从功能软件到智能软件,软件的能力会进一步提升,帮我们做更多的事情,交互也会更加友好。无论是办公、OA、CRM、ERP,甚至一些专业的画图、EDA等工具。
风险提示:基金有风险,投资须谨慎。投资人应当阅读《基金合同》《招募说明书》《产品资料概要》等法律文件,了解基金的风险收益特征,特别是特有风险,并根据自身投资目的、投资经验、资产状况等判断是否和自身风险承受能力相适应。基金管理人承诺以诚实信用、谨慎尽责的原则管理和运用基金资产,但不保证基金一定盈利或本金不受损失。过往业绩不预示其未来业绩,其他基金业绩不构成本基金业绩的保证。