自建筑首次出现数字化转变以来，将草图转换为数字3D模型一直是设计过程中的持久实践。但是3D建模非常耗时，并且3D建模软件通常具有繁琐的界面。
为了弥合草图和3D模型之间的差距，提出了一个可以将手绘2D草图转换为3D网格的框架。用户可以通过基于Web的界面在画布上绘制草图，相应的3D模型将自动生成并显示在一旁。
所提出的框架使用基于机器学习的方法，通过变形模板形状从单个手绘草图生成3D网格。由于生成的模型具有不平坦的表面，因此应用优化步骤来优化形状，从而创建具有平面和更锐利边缘的更可用的建筑3D模型。
创建简单房屋数据集，该数据集由5000个单体积房屋组成，用于训练神经网络。定义五类房屋类型，以屋顶形状和其他几何属性区分，并为每个类别生成了1000个模型，参数是随机选择的。每个模型都包括一个3D网格和20个不同角度的透视线图。
尽管泛化能力的限制使得它不太可能取代当今传统的3D建模软件，但快速草图到3D转换使建筑师能够探索各种建筑形式的可能性，并可能在早期阶段加快设计过程。
介绍手绘草图是一种在建筑设计过程中快速传达想法的高效且直观的方法。使用简单的笔触，个人可以在脑海中转移3D形式，并在设计过程中直观地传达概念。
另一方面，3D模型为从不同角度审查整体设计提供了更好的体验。但是，构建 3D 模型通常非常耗时，并且需要大量 3D 建模软件专业知识。此外，传统的3D建模工具通常会根据各种因素施加设计偏差，例如特定建模界面的用户友好性和软件的底层算法。
为了将手绘草图的创造性探索与数字3D建模工具联系起来，可以开发一种算法来自动从手绘草图重建3D模型。通过这种方法，建筑师可以通过草图直观地开发设计，同时在 3D 中记录和评估结果。
虽然人类可以很容易地从3D草图中推断出2D结构，但机器要自动化这个过程是具有挑战性的。这种技能在很大程度上取决于观察者的经验，观察者会无意识地将笔触与通常感知的物体的形状对齐。对这些笔画的数学分析揭示了它们的非确定性和表示无限数量结构的能力，使得设计一种可以正确重建3D场景的算法过于模糊。
除了投影模糊性之外，遮挡物体的存在也给机器从草图重建3D模型带来了额外的挑战。考虑一把单腿隐藏在视线之外的椅子，人类通常推断椅子有四条腿而不是三条腿，机器可能并非如此。
成功重建3D模型需要事先了解所讨论的对象。解决此问题的一种方法是利用机器学习技术来训练学习特定对象类典型结构的模型。但是，这种类方法可能缺乏泛化能力，因为它只能孤立地从每个类别中学习信息。
随着近年来深度神经网络的快速发展，越来越多的基于机器学习的方法在该领域出现。然而，它们在建筑设计或3D建模过程中的实际应用仍然未知。
为了使用户可以访问这种2D到3D生成器，需要开发一个易于使用的系统。本文的主要重点是介绍一种系统，该系统将基于机器学习的 2D 草图集成到 3D 模型生成器中，并将其集成到传统的 3D 建模软件中。
相关作品如今，由于硬件和软件功能的改进，从3D图像构建2D模型变得越来越逼真。无论哪种方式，都可以本能地构建和修改3D模型。虽然没有商业CAD软件包含此功能，但已经提出了一些学术研究。
1.基于草图的建模
基于草图的建模是一种更直接和交互式的方式，通过草图构建 3D 模型。它们中的大多数都有一个特定的界面来捕获每个笔画的路径。例如，有些人将每个笔触识别为单个对象的轮廓，并通过“膨胀”技术生成相应的3D模型。
述基于草图的建模通常需要用户将物体的投影轮廓绘制到3D空间中的平面上，系统随后将草图线转换为3D组件并将它们合并以形成最终模型。相比之下，我们更侧重于将带有透视信息的 2D 草图直接转换为 3D 模型。它更直观，更省时，因为建筑师和设计师经常使用 2D 草图启动他们的设计过程。
2.从二维图像重建三维模型
与基于草图的建模相比，可以将整个 2D 图像作为输入，并通过分析场景中存在的对象来重建 3D 几何体。因此，训练端到端机器学习模型是这一类别中的常用方法，尤其是在存在大规模数据集和差异渲染的情况下。这些基于学习的方法今天如雨后春笋般涌现。
有些需要一张图像作为输入，有些则需要来自不同视图的多张照片。该模型可以生成为体素、多边形网格和点云。我们认为多边形网格是最适合与大多数 3D 建模工具集成的格式。
然而，这里提到的许多方法都受到低泛化能力的阻碍，这是与其机器学习模型相关的内在问题。由于生成的模型的整体结构有限，因此这些方法通常会为同一类别中的对象训练特定的模型。
因此，它们只能在同一类中生成具有相似结构的模型。为了解决这个问题，需要使用两阶段过程，通过第一个网络估计法线图，深度图和轮廓作为中间结果，将它们用作第二个网络的输入以生成最终的2D模型。
最近，提出了多个机器学习模型来从手绘草图重建3D模型。训练了一个从2D草图生成的网络。使用两阶段结构，其中网络首先将草图转换为多个 2D 法线贴图，然后将其作为输入下一阶段生成的5D网格。
生成的结果合成数据集和手绘草图的测试结果如图所示。模型可以处理这些草图，并从这些示例中产生令人满意的结果。
但是，如上所述，该模型仍然缺乏泛化能力。首先，模型对缺陷很敏感，模型会产生意想不到的结果。对于远离数据集中示例的案例，模型无法生成匹配结果。这也适用于与房屋无关的草图。
这意味着无论用户画什么，它都会尝试生成一个尽可能贴合轮廓的房子。虽然它可以是一个激发设计师灵感的功能，但它也可能损害这个系统的潜力。一个可行的发展是包括自动化和用户生成的反馈，以平衡机器学习模型的精度、泛化能力和生成 3D 模型的不确定性。
此模型的另一个缺点是对一致拓扑的限制。由于它通过变形模板网格来生成对象，因此拓扑将与模板对象相同。例如，如果模板是一个球体，但在训练或测试数据中呈现了一个圆环，则生成的结果将被扭曲。
还通过用笔和纸绘制草图来测试模型生成器。在纸上绘画后，拍摄照片并裁剪，使目标形状几乎位于整个图像的中心。然后，图像将被发送到预占有管道，其中背景被移除，图像被转换为与训练数据集类似的样式。
结果表明，通过足够的图像预处理步骤来处理图像，可以通过使用手机的相机功能在纸上捕捉草图来扩展界面，从而进一步发展界面的灵活性。
用户界面展示用户界面的屏幕截图，其中包括一个Web应用程序，演示用户绘制的草图并将其转换为3D模型，以及用于导入结果模型的Rhino和Grasshopper脚本。
在Web应用程序中，用户可以在左侧绘制草图并通过按中间的转换按钮生成3D模型，右侧的3D模型将几乎实时更新。该示例显示了一个方案，其中用户通过平板电脑访问界面并使用触笔铅笔绘制草图。
用户可以随时重做、撤消和清除画布。在桌面端，Grasshopper通过启动脚本连接到与平板电脑相同的“房间”。当网格生成时，用户可以触发Grasshopper 中的按钮，将模型自动导入 Rhino中。
用户在平板电脑上绘图，结果通过 Grasshopper 脚本同步到 Rhino 视口。
结论本文所提出的系统为建筑师和设计师提供了一种用户友好且高效的方式。通过使用深度神经网络将手绘草图转换为3D模型，该系统允许用户在3D中快速可视化其概念。通过Grasshopper的组合，用户还可以在生成的模型之上执行进一步的编辑。
将前端和后端分开，使最终用户可以轻松访问系统，同时保持可扩展性，这使得将新技术嵌入到传统设计阶段更加逼真。
生成了一个合成数据集，用于训练系统中使用的神经网络。这涉及随机 3D 模型生成和 2D 线框渲染，以及徒手草图模拟。这种方法允许创建专门为建筑设计任务量身定制的数据集，从而为未来的研究人员为该领域开发基于学习的方法提供了机会。此外，我们提出了一种后处理优化程序，以增强生成的3D模型并使其更适合建筑目的。
尽管目前的模型在泛化能力方面可能存在一些局限性，但它仍然显示出创造性使用的潜力，可以作为进一步探索的起点。将草图早期转换为3D建模环境可以使设计的评估和模拟更早地进行。它还可以通过使3D建模对更广泛的用户来说不那么麻烦，从而使设计过程更具包容性。相信将人工智能纳入计算机辅助设计将不可避免地扩大建筑设计过程的格局。
●—<参考文献>—●
【1】SingleSketch2Mesh：从草图生成3D网格模型
【2】P.E.：使用霍夫变换来检测图片中的线条和曲线
【3】Monster mash：一种休闲 3D 建模和动画的单视图方法
【4】L.J.：用于从单个图像重建3D对象的点集生成网络
【5】S.：用于建筑中几何深度学习的合成 3D 数据生成管道
【6】Maji，S.：用于3D点云处理的多分辨率树网络
