文|AI大模型工场,作者|参商,编辑|星奈
今天凌晨,AI教母李飞飞创立的World Labs推出第一个重磅成果:世界模型,一张单个图像便可生成3D世界。
此消息一出,业界炸开了锅。李飞飞也第一时间在X上宣传:
在大家还在2D视频生成赛道卷生卷死的时候,World Labs已经进入Next Level,AI生成3D世界。
据World Labs官方介绍,目前大多数GenAI 工具都制作图像或视频等 2D 内容,存在缺乏控制和一致性的问题,而3D生成则可以提高控制和一致性,其模型可以预测3D几何图形,填充场景中看不到的部分。这将改变我们制作电影、游戏、模拟器和物理世界的其他数字表现形式的方式。
一、一张图生成一个世界
输入任意一张图,World Labs还你一个世界。
比如,丢给World Labs一张左边的图片,它能给你一个这样的3D世界:
你可以通过WASD建控制3D世界得上下左右视角,还可以拖动鼠标逛这个世界的每一个角落。
同时,官方也给了很多玩法。
相机效果
生成场景后,我们可以使用虚拟摄像机进行实时渲染。通过精确控制虚拟摄像机的各项参数,可以实现各种艺术摄影效果。
例如,我们可以模拟浅景深效果,使得只有距离摄像机一定距离的物体才清晰对焦,从而突出主体并增强画面的层次感。
此外,还可以模拟推移变焦效果,即同时调整摄像机的位置和视野,创造出独特的视觉冲击力和动态感。
3D效果
World Labs官方介绍,大多数生成模型是预测像素。而生成3D场景则不仅限于像素层面的表现,其优势更多地体现在:
持久的现实:一旦生成了一个世界,它就会一直存在。如果你把视线移开并回来,场景不会在你的背后改变。
实时控制:生成场景后,可以实时移动场景。可以徜徉于花朵的细节,或者偷看角落看看揭示了什么。
符合物理规则:生成的世界遵循现实世界的基本物理规则。它们具有坚实感和深度感,与某些 AI 生成的视频的梦幻般的性质形成鲜明对比。
World Labs生成的3D场景通过深度贴图技术,使得其中每个像素都按其与相机的距离着色,更具空间感。
不仅如此,World Labs还可以添加各种动效,比如声效、灯光等,构建3D场景的交互式效果,瞬间进入“真赛博空间”。
走进绘画世界
World Labs 团队还展示了他们从梵高、霍珀、修拉和康定斯基等作品中生成了世界。
创意工作流程
除了以上玩法外,3D生成还可以与其他AI工具组合,比如Midjourney、Runway、Suno等,这将极大地改变创作者的工作流程。
例如,可以先使用文生图模型生成图像,不同的模型生成的图像风格不尽相同,而World Labs可以继承这些风格。
比如我们输入相同的prompt,可以得到不同风格得3D世界:
一间充满活力的卡通风格青少年卧室,床上铺着五颜六色的毯子,杂乱的书桌上放着一台电脑,墙上贴着海报,运动装备散落。一把吉他靠在墙上,中间是一块舒适的图案地毯。窗外的光线为房间增添了温暖、年轻的氛围。
看到现在是不是已经迫不及待想上手试试,不过遗憾的是,目前还在内测中,可以申请候补名单。
附上地址: https://forms.gle/tkfW7yMqMsCXWw4F7
二、3个月估值10亿,空间智能时代才刚刚开始
今年4月,被称为“AI教母”的斯坦福大学教授李飞飞,带队成立World Labs(空间智能)。这是她2018年从谷歌离职重返斯坦福后,第一次直接下场参与的创业项目。
World Labs是一家专注于打造世界模型进行3D世界的感知、生成和互动的AI初创公司。
在短短3个月的时间里,World Labs就进行了两轮融资,融资总额超过2.3亿美元,估值突破10亿美元,投资方包括硅谷知名风投a16z和AI基金Radical Ventures。
李飞飞认为,未来AI的核心在于“空间智能”,即让AI具备感知、推理并与3D世界交互的能力,这是实现更高级AI应用的关键。
在她看来,视觉在人类理解和与世界互动中占据核心位置,AI发展应优先提升视觉能力,超越语言模型的局限,让AI从“大语言模型”过渡到“大世界模型”,以应对更复杂的3D环境感知和交互需求。
也因此,她希望通过 World Labs 推动这一领域的发展,实现更高层次的空间智能。
World Labs堪称超级明星团队,除了李飞飞外,还有李飞飞徒弟,在实时风格转换和超分辨率领域有突出贡献的贾斯汀·约翰逊、神经辐射场(NeRF)提出者本·米尔登霍尔以及3D重建专家克里斯托夫·拉斯纳。
尽管World Labs在技术研发和团队配置上具有领先优势,此次发布的最新成果也惊艳众人,但面临的挑战也不少。
首先,从技术角度来看,构建一个具有高精度的3D世界理解和生成模型需要大量的数据和计算资源,同时还需要解决实时交互的技术难题。
在3D生成赛道,并不是一片蓝海,除了World Labs外,英伟达、meta等多家公司也在积极布局物理AI与3D世界的相关技术,市场竞争激烈。
再有,在商业化路径上,尽管LWM的潜力巨大,但如何找到合适的商业模式,尤其是平衡研发投入与市场回报,是创业公司面临的共同难题。
如果找不到盈利模式,能活下去的概率很小,毕竟已经不少AI领域的明星初创公司卖身大厂了。
不过,不得不承认的是,在潮水的变化面前,空间智能,一切才刚刚开始。