2月25日,“2023全球人工智能开发者先锋大会”(GAIDC)在上海临港召开。作为早已前瞻性在AI领域布阵的实时3D引擎,Unity不仅深度参与峰会,展示了Unity+AI在汽车、数字人、元宇宙等领域已呈现的成熟解决方案;同时也在AIGC这一人工智能的重要领域,阐述了3D技术目前所面临的挑战及即将为全行业带来的生产力革命。
大会首日,在以“见于既萌,追光而行”为主题的2023AIGC前沿论坛上,Unity中国高级经理兼跨端移植技术负责人孙志鹏做了题为《AIGC赋能3D内容创作》的演讲。孙志鹏通过梳理3D底层技术中的多模态问题,对即将在AIGC时代普及的AI建模进行了清晰的推演。
以3D创作中常见的“场景生成”任务为例,AI介入后很有可能出现的模式路径是:首先通过GPT类型的语言模型对来自用户的建模需求生成足够详细的描述,再经由多模态模块完成融合后,驱动一个全可微的程序化建模模块用于生成场景,之后将可微渲染器给出的渲染结果交由对比图文预训练(CLIP)模块生成尽量贴合此前用户描述的图像和视频,至此也就建构了将自然语言转化为3D场景的流畅通路,完成了“一句话建模”。