文|杜晨 编辑|Vicky Xiao
注：本作品著作权归PingWest品玩/硅星人独家所有，授权深圳市腾讯计算机系统有限公司独家享有信息网络传播权，任何第三方未经授权，不得转载。
《硅谷前沿》栏目聚焦海外前沿项目、创新产品，由腾讯科技和硅星人共同打造，本期为第二期。
基于机器学习技术的人工智能，在最近十年已经变得非常先进，在计算机图像识别领域，现在已经大范围的应用在无人驾驶、机器人、手机拍照滤镜等众多领域；语音识别技术也有很大的突破，人工智能现在已经可以准确“听懂”世界上每一种主流语言，甚至包括中国流行的方言。
更为强大的生成式神经网络模型，近几年非常热门。利用到 DeepFake 技术中，可以让换脸视频以假乱真；谷歌前年发布的 Duplex 技术，生成的机器人语音可以代替客服接听电话，效果令人震惊。
最近，人工智能再一次实现重大突破：
OpenAI 开发的一个全新的神经网络，不仅能够生成流行风格的音乐，“编”出的曲子风格还可以和现实中的音乐人实现“高仿”。
OpenAI 给它取名叫 Jukebox，中文就是点唱机，大概意思是点什么唱什么，没有难不倒它的……
只要你给这个神经网络提供音乐的类型 (genre)、参考的歌手和歌词作为输入，它就能自动生成对应的音乐。
而且它还有多种工作模式。
1）跨界合作：把歌手A的歌词和B的风格/唱腔混搭在一起，生成一首“跨界合作”单曲；
2）歌曲补完：把一首歌的前12秒输入进去，Jukebox 可以自动补完这首歌，而且风格竟然和原版歌曲还挺像；
3）自造歌曲：借助 OpenAI 此前开发的文字生成模型，Jukebox 能把生成的歌词插到给定的风格、歌手身上，生成一首全新歌曲。
有这么厉害么？不听不知道，一听吓一跳。
先来感受下第一首歌，用埃米纳姆 Lose Yourself 的歌词，配上了坎爷 Kanye West 的曲风和唱腔。
这两位从未合作过的殿堂级说唱巨星，终于在人工智能的帮助下“你中有我，我中有你”了：
风格混搭再来演示一下歌曲补完的效果。
OpenAI 的研究人员喂了一段火星哥 Bruno Mars 的金曲 Uptown Funk，从视频12秒之后的都是 Jukebox 自己生成补完的。
感觉神经网络跟“哈利路亚”这句较上劲了：
最后，再让我们来看一下 OpenAI 的“人工智能套娃”：用 GPT-2 生成模型发明的歌词，再扔到 Jukebox 里，让它自己编出一首歌。
这首歌借用的是水果姐 Katy Perry 的风格。据听过的网友表示，这首歌貌似还混了一点A妹 Ariana Grande 和 Radiohead 的风格金曲：
微信文章只能放三条视频，不过 OpenAI 还有成百上千条 Jukebox 生成的样歌，你可以到 https://jukebox.openai.com/ 网站上面试听。
比如这首四分之一 Frank Sinatra + 四分之三 Alan Jackson 演唱的流行+乡村风格City of Stars……真是闻所未闻的混搭风格。
Jukebox 实现了哪些突破？
截至 Jukebox 之前，已知的基于机器学习的音乐生成技术，已经能够整合多种乐器的音色，生成复杂的音乐。
但是有一件事一直以来困扰着研究者：用人工智能无法生成音乐中重现人声，捕捉不同人的不同的音色和声音动态和表达风格。
研究者们试过一些手段，比如在符号层面生成再用音频渲染，或者采用风格迁移的方式，但是效果都不好。
OpenAI 决定采用直接在原始音频层级（音频文件的数字浮点层面）上开展工作。但是如果用 44.1kHz率，就从另一方面代表着每秒钟有4.41万次采样，计算量太大。所以他们决定采用 VQ-VAE (vector quantization variational autoencoder)，一种可以用于图像、音频和语言的，编码-解码式的生成模型。
OpenAI 的实现逻辑，简单来说就是先把原始音频编码成数据，训练，然后再用解码器重建成音频。
也正是通过这种方式，Jukebox 在更高工作效率和歌曲拟真程度基础上，还能生成多变的、以假乱真的人声。
论文中的流程图：
更容易理解的示意图：
首先需要一个压缩的过程，用卷积神经网络 (CNN) 作为一个编码器模型，将原始 44.1kHz 采样率的音频数据压缩到每秒钟344个采样，作为训练素材。
在压缩的步骤中，OpenAI 使用的就是 VQ-VAE 模型，并且加上了三个层级，分别压缩8倍、32倍和128倍，倍数越高压缩掉的细节越多，但是仍能够保留素材本身的音调、音色等关键信息。
到了生成的步骤，用训练好的神经网络模型 (transormer) 生成新的音频，再用 transformer 和 CNN 进行上采样 (upsample) 和解码。
生成的过程中同样进行了三次上采样，最高一层生成基础旋律和歌唱，中间和底层则为歌曲增加更多的音色细节，显著提高最终生成歌曲的音质。
当生成步骤的模型训练完成后，你可以简单理解为，OpenAI 的研究人员已经获得了不同的音乐类型、歌手和歌词所对应的“代码”。接下来，前面压缩的部分就不再需要了，只需要输入对应的代码，生成模型就可以开始解码并自动生成一首类型、歌手和歌词对应的新歌。
Jukebox 训练细节
在训练数据方面，OpenAI 制作了一个超过120万首歌（其中60万首英文歌）的数据库，配上歌词网站抓取了对应的歌词和元数据。
然后，按照前面提到的流程，对原始的音频数据进行下采样，还混合了左右声道来生成单声道的音频。
研究者训练 transformer 去预测压缩后的音频数据点 (audio token)，再把对应的元数据（比如歌曲类型和歌手）一起加入。这样在后续的生成步骤中，他们就可以更换不同的歌手和类型，让同一段原始数据可以生成千变万化的不同歌曲。
在无监督学习的前提下，transformer 能轻松的获得将风格近似的歌手自动归类的能力。以下就是模型自己学习出来的分类结果：
接下来，更难的挑战来了：如何把歌词数据加入到训练过程里。
网上找到的歌词，往往跟歌曲对应的不是很好，比如歌曲里重复的段落在歌词里没有重复，比如同一首歌被多人演唱过，所以歌词不能直接拿来用。
训练过程中还发现，歌词处理对于嘻哈音乐是最困难的（可能是因为重复的实在太多了……）
所以研究者又加上了新的基于神经网络的工具：Spleeter，可以从歌曲中提取人声进行语音识别；NUS AutoLyricsAlign，把歌词和歌曲进行对齐；注意力机制，让解码出来的音乐，随着播放的进度，注意歌词编码的位置变化：
这个注意力机制值得稍微展开一讲。上图中的横轴是音乐进度，纵轴是歌词进度，能够正常的看到这条线大部分时候是实的，偶尔会有模糊的地方，就是歌曲到哪里不知道该唱什么了……
这种意外在 OpenAI 提供的样歌里常常会出现，比如你可以回去听一下埃米纳姆和坎爷的那首 Lose Yourself，会发现到后半部分歌词就完全乱了，完全真不知道它想唱什么。然后有时能重新找到歌词，有些再也找不回来。
下图更明显：闪过橙色的位置就是当前模型对歌词的注意力所在的区域，能看到能够正常的看到歌词先是顺着走了一小段，然后就跑到九霄云外了，像是喝醉了一样……
（是不是有点像照着歌词本学一首新歌时找不到北的感觉？）
Jukebox 的局限和展望
Jukebox 在生成的音乐素质、连贯性、样歌长度和可调节自由度等方面，都足以代表人工智能音乐生成的顶端水平。不过 OpenAI 指出，它还有很多不足的方面，和人类创造的音乐还差很远。
1）在流行的音乐种类下无法复现人类常见的歌曲结构，比如副歌的重复等等；
2）压缩和上采样的过程会带来明显的噪音——不过这一点网友似乎没有太多意见，有些人反而觉得有种硅胶和电台时代的迷人音质；
3）让一首歌到达能听的程度，生成所需的时间在9个小时左右，所以暂时没办法把它开发成一个产品去使用；
4）目前主要聚焦于英语歌曲，不过未来团队也希望可以训练更多语种。
虽然已经发布了 Jukebox，OpenAI 仍在持续进行改进。比如，他们正在测试在压缩过程中引入 MIDI 文件调节，从而提高生成样歌的音乐性 (musicality)，并且已经取得了初步成功。这有助于在未来让更多音乐人可通过 Jukebox 背后的技术。
其它 AI 生成音乐技术
自动音乐生成其实已经不是一项很新的技术了。即使在人工智能的方向上，也已经有很多前序的研究，其中有不少也启发了 Jukebox。
已知最早的利用计算机算法生成音乐的案例是在1960年，由俄罗斯科学家 R. Zaripov 在乌拉尔一号计算机上实现的。
1997年，UC Santa Cruz 教授 David Cope 开发的软件 EMI，在一次音乐领域的图灵测试中顺利通过了考验：它生成的一首作品因为和巴赫的风格实在太像，一度被听众以为是遗失的作品。
反而同场竞技的音乐教授 Steve Larson 自己写的一首曲子被认为像是计算机写的……
David Cope
OpenAI 在去年就曾发布过一个早期版本的人工智能音乐生成模型 MuseNet。它可以结合最多10种不同乐器的音色，生成古典、摇滚、乡村等多种不同风格，长达4分钟的乐曲（不包含歌唱）。
MuseNet 和 Jukebox 类似，也利用了 OpenAI 在 GPT-2 生成模型上的研究。理论上，GPT-2 背后的技术是预测下一个 token，此前我们感受过它写诗和编假新闻的能力，当然它同样也可以把 token 从文字换成音乐。
研究人员先是给了 Adele 的 Someone like You 几个音节的前奏，在其中一条生成的结果中，MuseNet 预测出的随后几个音节和原歌几乎一模一样，不过再往后就跑偏了……不过仍堪称非常令人惊讶的结果。
商业视频需要音乐伴奏，不过寻找最适合一条视频的音乐往往不是件容易的事情，找到了之后还要寻找授权，难上加难。Aiva 就是专门解决这样的一个问题的。
这是一家由计算机科学家和音乐人组成的公司，他们开发的同名人工智能 Aiva 能够按照每个用户指定的风格需要，生成全新、不需要担心版权的歌曲。
它能够驾驭的曲风包括电影背景音、电子乐、流行、古典、交响、爵士、中国风、海盗歌等等。包括英伟达、沃达丰、TED 等知名公司和机构都在使用。
