英伟达合作Masterpiece Studio与Kaedim：引领3D建模生成式AI与2D转3D技术革新

作者丨林芬

编辑丨haiyao

标题图片丨Midjourney

去年，与NVIDIA合作的Masterpiece Studio被推荐为最佳的3D建模和生成AI之一，以及一个实时可用的3D化身，角色和道具的人工智能文本到3D生成器。

Kaedim还​​是NVIDIA的人工智能启动计划启动的项目。它位于伦敦。这是一家AI 2D到3D模型公司，可提供简单的地图生产3D资产创建服务。用户可以通过上传1-6张图片来生成3D型号。根据官方网站的数据，该平台已经生产了51,098个资产。最近，他们推出了3D资产交易平台市场，提供了10,000个易于编辑和无损耗的3D资产，供消费者选择。它的主要服务业是游戏娱乐，它还拥有电子商务，建筑设计，动画以及电影和电视等合作伙伴。

资料来源：Kaedim官方网站

Konstantina Psoma于2020年创立了Kaedim，最初是因为她难以制作课程的3D动画。后来，她在英国布里斯托尔大学（University of Bristol）学习研究生院时，将自己投入了2至3D ML算法研究，并在校园企业竞赛中创立了该公司。

3月11日，Kaedim筹集了A16Z Games领导的1500万美元的A系列，Scott Gelb（前Riot Games的前总裁），Nate Mitchell，Nate Mitchell（Oculus的联合创始人），Eden Chen（Pragma的首席执行官），Siqi Chen（金融分析软件跑道的首席执行官）和其他参加。

据报道，Kaedim拥有250个大客户，每月用户群为20,000，每年七位数的年收入。它的C端用户包括3D建模爱好者，室内设计师，产品设计师和动画师。

01 2d到3D，获得7位年收入

由于难以获得和制定培训数据，因此3D的AI生成并不简单。尽管有些公司从事这项业务，但大多数公司都很昂贵，需要考虑商业化路径。

今年1月，由A16Z领导的另一家公司Lumalabs产生了高质量的资产。最终的模型可以在现实世界中“用假货射击”，在3D场中被称为Midjourney。 1月，Luma AI发行了文本提示，发行了Genie 1.0，在10秒内生成了4个高保真3D型号。尽管效果是多种多样的，但纹理和材料使模型非常现实。

视频来源：Luma官方网站显示作品，由@jhues创建

Luma的融资主要用于研发和创新。一些分析师指出，它是针对C-End的，但没有明确的商业模式，并且很可能将来在游戏，电影和电视，电子商务和其他场景中商业化。

Meshy AI也是强烈推荐的3D资产平台。像Kaedim一样，它可以实现文本和图形的3D生产。它具有快速的速度和质量继续提高。在采访中，Meshy首席执行官和“ Tianxuan程序员” Hu Yuanming提到，该游戏为他的3d Generation AI企业家精神建造了桥梁。 3D AIGC是一个令人兴奋的企业家方向。尽管有很多不确定性，但值得在市场上探索。公司是否盈利是未知的。

资料来源：Meshy AI官方网站

Kaedim的愿景是加快从数字2D世界到数字3D世界的转变。 “在过去的五年中，我们已经看到3D技术在电子商务，游戏，3D打印，AR/VR和其他市场中急剧增长，并且我们正在赋予3D内容创建的下一个阶段，就像Dall-E有助于2D图像一样。”

他们产生了收入。根据Finsmes的说法，Kaedim的年收入超过了7位数字，每月有250多个大客户和20,000名新创作者。这包括电子游戏，商业，建筑，产品设计和动画等行业的爱好者和开发团队。

从技术上讲，Kaedim使用诸如GAN（生成对抗网络）和转移学习之类的知识来创建使用Pytorch和Tensorflow等技术的AI产品，以便它可以生成和定型3D资产。 “人类在日常生活中看到了许多汽车。人们的视野是3D。当我们看到尚未发布的新车的图片时，我们将与现实相关联。通过同样的标记，我们教算法从2D图像中识别3D数据。”

Kaedim说，他们帮助创建者建立了一个完整的工具套件，旨在增强艺术家的创作，而不是取代创作本身。他们采用了将工具与虚幻和搅拌器流程等工作流程集成的解决方案，例如，一组智能附加组件，用于3D建模管道，例如自动UV Unroling，以及一套使用Kaedim的机器学习模型自定义3D资产生成的托管服务。

另外，在Kaedim图中生成3D资产的过程相对简单易于启动，而没有复杂的参数调整。

Kaedim界面

在输入菜单中，有两个选项：图像和文本生成3D模型。根据演示视频，用户可以在编辑页面中上传目标生成角色的1-6张图像，选择与1、2和4分的费用相对应的三个选项“标准”，“高质量”和“ Extreme”。设置命名和高度后，单击生成，您可以排队以进入处理阶段。

资料来源：Kaedim编辑示例模型

资料来源：Kaedim Discord社区用户DV的模型作品

此外，用户可以使用提示单词生成2D映像，并且在获得令人满意的示意图后，单击以生成3D图像的先前步骤来生成它。

同样，用户可以在其内部编辑器中检查模型骨架和大小，并且还可以要求系统根据要求加强模型细节。

接下来，用户可以使用其紫外线解装来创建其模型的UV地图。专业人士可以打开模型线框，以检查拓扑并为模型上色。通过文本生成的模型可以添加到编辑器中或更改为草图以需要其他详细信息。

最后，Kaedim允许用户以图像，GLB，GITF，OBJ和其他模式的形式下载。

资料来源：YouTube，Kaedim视频演示

三种图片类型的水平比较产生了3D模型效应，这表明Kaedim还​​不错。从白色模具效应来看，Kaedim（图1）具有清晰的线效应，未知的时间，强大的可用性并支持自定义着色。尽管Meshy AI（图2）具有自己的地图，需要1分钟，但需要增强自由生成效果。此外，Luma的高质量成品也可以直接用作游戏资产。使用Wall-E提示词将其转换为3D型号后，可以在大约10分钟内生成具有略微变形的壁-E。

资料来源：图1来自Kaedim视频演示壁-E模型，图2是由作者使用Meshy AI中的图生成模型生成的，而原始的Wall-E图片来自Wikipedia

资料来源：Kaedim视频演示壁-E模型，Meshy AI积分生成模型，Luma Free Generation Model

最近，Kaedim推出了一个拥有10,000家资产的3D资产市场。内部的3D资源材料没有糟糕的拓扑和网格损坏，并且适合独立游戏开发人员。仅订阅此网站的用户才能访问该网站。

资料来源：Kaedim

02未能带来创业灵感

在官方网站上，Kaedim的建模主要视野是一群可爱的小动物，类似于他们的创始人Konstantina Psoma的气质，Konstantina Psoma是一个热爱笑，开朗和冒险的希腊女孩。她是一位年轻一代的Z企业家，去年被选为福布斯欧洲“ 30 Under30”技术精英。

资料来源：Konstantina Psoma LinkedIn

Konstantina毕业于雅典国家技术大学和英国布里斯托尔大学。她独自离开雅典在17岁时就在英国学习。进行3D AIGC源于她在学习3D建模和大学3D动画方面的挫败感。 “这有多困难？” Konstantina自信地打开了Autodesk Maya（一种3D动画软件），发现“非常困难，该软件的学习曲线非常陡峭。”

其他学生选择了简单的咖啡馆和公寓楼，康斯坦蒂纳选择了该市最大的建筑 - 建筑群，繁琐的布里斯托尔大教堂。手术和老虎一样凶猛。我试图夸大3个月，计算机崩溃了几次，但最终我失败了。

资料来源：维基百科，图片显示布里斯托尔大教堂

康斯坦蒂纳（Konstantina）回顾了整个过程，发现将大教堂变成3D动画的过程非常重复且耗时。 “但是，在静止框架中，3D视频游戏屏幕中至少有数百个3D对象。”

不仅如此，3D建模和设计需要掌握大多数软件，而创建者可以在拥有一定的艺术基础后操作模型，材料，地图，照明和效果图。为了找到更轻松的建模“魔术”，Konstantina与专业从业人员进行了交谈。她发现3D设计师和游戏开发人员都透露了一个问题：3D创建过程对游戏行业来说是一个巨大的瓶颈。即使使用高级游戏引擎，开发人员仍然需要花费大量时间和精力来优化和调整以确保最终产品的质量。

她无法想象，在2019年，当大多数人讨论VR和AR时，游戏中无数的3D资产仍然是手工建模的。如果甚至无法实现大规模生成的3D数字内容，我们如何才能获得真正的数字3D体验？

她的脑海中形成了一个简单的企业家思想：“我们可以帮助游戏开发人员，3D打印制造商和产品设计师加速其3D资产生产过程。”康斯坦蒂娜（Konstantina）在研究生研究期间将研究重点放在2D到3D的深度学习方向上。她和她的团队致力于构建机器学习算法，将草图和照片的2D输入转换为3D型号。他们的想法也吸引了她的导师肖恩·莱登（Shawn Layden）的前头的关注和指导。

2020年2月，Kaedim成立为NVIDIA人工智能初创企业孵化计划的项目。

“一家初创公司是一个宏伟的主意。整个世界都认为您疯了，但您必须自信。”尽管这只是一个项目，但他们以公司的名义与许多Game Studios进行了交谈，以查看生产过程，并查看产品创意是否与工作室的现有作品相匹配。 Konstantina通过一项调查发现，建模是创建概念艺术，3D建模和3D内容质地生产过程中最富有劳动密集型的部分，而3D建模用于游戏总成本的25％至60％。

“那些工作室想，'您给我一个现成的3D模型，我们将考虑调整它。'”康斯坦蒂娜很快意识到Wensheng 3D和3D 3D对大多数游戏公司都无法使用。她选择了2d 3D产品创意来加速工作室的生产并帮助他们节省成本。

21岁的康斯坦蒂纳（Konstantina）提出的解决方案吸引了合作的目的（生产肖恩绵羊的动画公司）。他们最终赢得了学校的新公司比赛，并从英国游戏开发商Rebellion Games的联合创始人克里斯·金斯利（Chris Kingsley）成功赢得了他们的第一笔投资。

著名的游戏团队Epic Games在早期阶段帮助Kaedim的人工智能技术开发。同时，康斯坦蒂娜（Konstantina）正式筹集了第一家继续其业务的基金。 2021年，他们启动了Kaedim Web应用程序的第一个版本并开始销售，并与包括Quell在内的10家公司（YC 21）进行了试点计划。

资料来源：Kaedim

可以看出，Kaedim在早期阶段吸引了更多的客户，但是在推出产品时，他有很多曲折。

在Kaedim打开Beta之后，成千上万的新用户加入了他们的Discord，很快大多数用户都质疑Kaedim并非完全AI一代，并且AI生成的质量较低。 404媒体报道说，Kaedim的3D转换实际上是由人类设计师从头开始的，而无需使用任何AI-他们雇用了“质量控制器”，每款薪金为$ 1-4，随后是负面报告。

Konstantina立即做出回应，质量控制工作对它们至关重要，并且可以为算法创建反馈循环。由于AI算法的输出不稳定，因此质量控制器需要检测到它以满足标准，然后才能将其馈回用户以进一步编辑和添加纹理。她的目的一直是加快3D生产过程。 “（2022）整个过程平均需要15分钟，比手动工作快10-20倍。”根据她的计划，随着算法的发展，该过程必须在1分钟内完成。

卡迪姆（Kaedim）解决了怀疑的声音，于2022年10月提高了种子回合，并赢得了小布法罗工作室艺术工作室，3D印刷公司Nakkara，Game或Film Companies Netflix，Netflix，Voodoo，Upland等的合作机会，并成功地赢得了2024年A16Z的青睐，并筹集了1500万美元的最新一轮。 A16Z称其为“ 3D世界的下一代合作开发平台”。

在康斯坦蒂娜（Konstantina）的观点中，随着元和数字空间的概念变得流行，对3D建模的需求只会增加而没有减少。目前，公司的员工已从最初的2个增加到50，他们仍在增加员工。

03加速游戏开发人员10次

该公司不提供免费试用，需要支付涉及着色和修剪型号的步骤，起价为每月300美元。这也是Kaedim受到了很多批评的观点，但这并没有延迟大多数3D设计师探索它。

资料来源：Kaedim

在其Discord社区中，有大量用户在主题“显示您的模型”中显示模型效果。例如，Active用户Liamine创建了一个“ Gundam”系列。他使用Kaedim2D渲染来生成3D建模，并在Blender 3D中完成了动画，纹理和渲染，从而产生了高质量的结果。