模拟城市的图像有助于人工智能理解真实的街景_专栏

易百纳社区

人工智能和深度学习的最新进展已经彻底改变了许多行业，并且可能很快也有助于重建您的社区。给定景观图像，深度学习模型的分析可以帮助城市景观设计师可视化重建计划，从而改善风景或防止代价高昂的错误。

然而，为了实现这一点，模型必须能够正确识别和分类给定图像中的每个元素。这一步称为实例分割，由于缺乏合适的训练数据，对机器来说仍然具有挑战性。

尽管收集一个城市的图像相对容易，但生成“基本事实”，即告诉模型分割是否正确的标签，需要费力地分割每个图像，通常是手工分割。

现在，为了解决这个问题，大阪大学的研究人员开发了一种使用计算机模拟来训练这些渴望数据的模型的方法。首先，使用逼真的三维城市模型来生成分割地面实况。然后，图像到图像模型从地面实况图像生成真实感图像。他们的文章《使用不存在的现实城市的3D模型开发用于真实城市景观深度学习的合成数据集生成方法》发表在《高级工程信息学》上。

其结果是一个类似于实际城市的真实图像数据集，配有精确生成的地面实况标签，不需要手动分割。

“合成数据以前曾被用于深度学习，”主要作者Takuya Kikuchi说。“但大多数景观系统都依赖于现有城市的3D模型，这仍然很难建立。我们也模拟城市结构，但我们这样做的方式仍然能为现实世界中的模型生成有效的训练数据。”

在按程序生成真实城市的3D模型后，使用游戏引擎创建城市的分割图像。最后，生成对抗性网络是一种使用博弈论学习如何生成逼真图像的神经网络，它被训练成将形状的图像转换为具有逼真城市纹理的图像。该图像到图像模型创建相应的街景图像。

通讯作者Tomohiro Fukuda解释道：“这消除了对真实建筑数据集的需求，而这些数据集是不公开的。此外，几个单独的物体可以被分离，即使它们在图像中重叠。但最重要的是，这种方法节省了人力和相关成本，同时仍能生成良好的训练数据。”

为了证明这一点，一个名为“基于掩码区域的卷积神经网络”的分割模型在模拟数据上进行了训练，另一个模型在真实数据上进行训练。尽管生成数据集的时间减少了98%，但这些模型在大型、不同建筑的实例上表现相似。

研究人员计划看看图像对图像模型的改进是否能在更多条件下提高性能。目前，这种方法只需极低的工作量就可以生成大量数据。研究人员的成就将解决当前和即将出现的训练数据短缺问题，降低与数据集准备相关的成本，并有助于开创深度学习辅助城市景观的新时代。

模拟城市的图像有助于人工智能理解真实的街景

tomato

审核成功

审核失败