总部位于上海的知名创业投资机构启明创投7日在2023世界人工智能大会上联合“未尽研究”发布“生成式人工智能(AI)”主题报告,提出相关行业的十大前瞻。
报告预测,针对大语言模型,2024年中国将出现比肩GPT-4的多语言通用大模型。“超长上下文”(Long Context)将引领下一次大语言模型技术突破。
报告提出,在出现更有前景的大语言模型之前,为实现垂直领域更好的效果,将出现多种情形共存——分别是在不改变数据分布的情况下,利用更多通用数据进行通用大模型预训练,不特别引入行业数据,利用行业专属数据微调(Fine-Tuning)通用大模型,以及利用行业数据占比更高的数据集,进行垂直模型预训练。