AI 艺术画廊 —— 用 AI 诠释艺术与音乐 十二

艺术家和音乐家能够利用 AI，在其作品中呈现出人意料的创造力与原创精神。他们将 AI 作为一种工具、协作者或灵感来源，创造出任何人仅凭自身都难以想象的创意成果。

NVIDIA 将分享许多独特的作品，与大家共同探索视觉艺术、音乐和诗歌领域中 AI 创作的美、能量与洞察力。

Nao Tokui 和 Qosmo 作品：

神经网络 Beatbox 与合成音景

制造混乱 —— Nao Tokui 和 Qosmo 充分利用 AI 某些不可预知的行为进行打破陈规的思考和创作。

神经网络 Beatbox 与合成音景
2021，AI 引导的音乐实验

在神经网络 Beatbox 这首独奏变奏曲中，访客即兴创作一段连续的生成式鼓音（由他们自己的声音和脸部混音组成）。在神经网络模型的帮助下，录音被分类为鼓音，并生成新的节拍。当这些视听片段有节奏地回放时，访客将与过去的自己建立对话。

访问 https://solo.neuralbeatbox.net/ 即可体验，启用摄像头和麦克风，在录制中使用视听内容，视听数据不会永久存储。

创作过程

神经网络 Beatbox 是一项音乐实验，在以下几项的交叉处开展：艺术家对日常声音的浓厚兴趣、节奏和引入 AI 所带来的迷人惊喜。

Nao 一直着迷于我们周围的声音及其激发想象力的能力。他自己录制了各种环境音效，并与 Qosmo 一起创建了一个基于人工智能的网站，该网站展示了谷歌街景图像与匹配的“想象”环境音效。

作为一名 DJ，节奏始终是 Nao 音乐练习的核心。这位艺术家使用成百上千种公开的舞蹈音乐节奏 MIDI 数据，对基于变分自动编码器 (VAE) 的节奏生成器模型进行训练。下面直观呈现了该模型潜在空间中的潜在节奏模式，以及所选模式的音频样本。

神经网络 Beatbox 由两个部分组成：(1) 基于 CNN 的声音分类模型，它对录制的声音进行分段和创建的即时架子鼓；(2) 上一节中描述的节奏生成模型。

通过整合这两个组件和这位艺术家的两份独立激情，神经网络 Beatbox 不断根据我们周围的日常声音生成令人兴奋的节拍。艺术家们发现 AI 模型的细微缺陷很有吸引力。他们还预见到 AI 在未来不只是复制我们人类创作的音乐，而是还会创造一些新颖的东西，进而激发人类的创造力。

为了创作出一首独特的乐曲，Nao 还使用他多年来收集的现场录音数据集训练了一个 SampleRNN 模型。经过数天的训练，该模型开始生成无穷无尽的虚构环境音效。

之后，他扩展了节奏生成模型，将 GAN（生成式对抗网络）框架包括在内。他添加了一个额外的判别器，为生成的节奏模式划分舞蹈音乐流派。这个 Creative-GAN 方案还激励生成器“混淆”分类器；这位艺术家进而预测会出现挑战该模型产生的流派分类的独特节奏模式。

最后，Nao 将所有成果（SampleRNN/Creative-GAN 节奏生成和MelodyVAE 模型）都融入到他的作品“合成环境音效”中。他自己并未手动添加或删除一个 MIDI 音符。

他的模型生成了所有序列，他很喜欢这些序列的特性，并将合适的序列拼接在一起。所产生的作品反映了这个时代的不确定性和“日常”生活的回忆。在这个作品中，Nao 展示了拥抱 AI 的有机性可带来独特结果和扩展创造力。

关于 Nao Tokui 和 Qosmo

Nao Tokui 是位于日本的艺术家兼研究人员。在东京大学攻读博士学位期间，他发行了第一张音乐专辑和其他单曲，其中包括与日本嘻哈界的传奇制作人 Nujabes 合作的 12 英寸唱片。从那时起，他一直在探索利用 AI 扩展人类创造力的可能性。

他最近的工作包括开展 AI DJ 项目，在该项目中，基于机器学习技术的 DJ 与人类 DJ（Nao，他自己）通力合作，轮流选择和播放歌曲（一次一首）。另外他还与 Brian Eno 进行合作。他的作品曾在纽约 MoMA、Barbican Centre（伦敦）、InterCommunication Center（东京）等地展出。2021 年 1 月，他出版了第一本关于 AI 和创造力的书籍。

计算创造力及其他。Qosmo 是由位于东京的 Nao Tokui 创立和领导的艺术家、研究人员和设计师团队。它的核心理念是：通过捕捉 AI 技术和生成方法中的有机性，可以帮助开展创作和丰富艺术表现力。

来源：NVIDIA英伟达