一、什么是生成式人工智能

一、人工智能

人工智能就是让机器展现智慧，有人说 ChatGPT 就是一种人工智能。其实人工智能是一个目标，它不是一个单一的技术。

那么什么是生成式人工智能（Generative AI）呢？它的目标就是让机器产生复杂有结构的物件，比如文章（由文字所构成），图像（由像素所组成）和语音（由一系列离散的采样点组成）。但是这里的复杂到底要复杂到什么程度呢？要复杂到没有办法穷举。

下面举个例子：让 ChatGPT 写一篇关于春天的 100 字的中文文章。当然这很简单，但是你有没有想象过 ChatGPT 到底是怎么做到的？是解决了多困难的问题？问题就是用中文组成100 字的文章有多少的可能性。假设中文常用字为 1000 个，那么 100 字的文章的组合就有 $1000^{100}=10^{300}$，这是一个大到爆的数字，宇宙中原子数量估计有 $10^{80}$。所以机器要从 $10^{300}$ 这么多组合中挑出一个合理的答案作为给你的答复。

当机器解决生成式 AI 问题的时候，相当于从近乎无穷的可能中找出适当的组合。其实我们可以反过来说什么样的问题不是生成式 AI 的问题？比如垃圾邮件检测，猫狗分类器等分类问题就不是，它是从有限的选项中做出选择。

二、生成式人工智能

下面展示了人工智能、机器学习、深度学习和生成式 AI 的关系。机器学习是一种手段，它跟生成式人工智能的关系其实是有交集的部分，也有各自独立的部分。生成式人工智能可以用机器学习来解，也可以用非机器学习的方法解，例如基于规则或模板的方法（例如，在生成天气预报文本时，可以根据预设的规则来组合句子。如果天气数据为“晴天，温度25 - 30℃”，就可以按照固定的句式模板“今天天气是晴天，最高气温30℃，最低气温25℃”来生成文本。这种方法是基于人工设定的语法规则和词汇规则来组合生成内容，不需要通过大量的数据进行学习。）。

其实我们更常见的生成式人工智能与机器学习的关系是如下图所示的。把生成式 AI 放在机器学习里面也勉强可以接受，目前生成式人工智能都是使用深度学习实现的。

那么使用深度学习的技术怎么解决生成式 AI 的问题呢？想象一下 ChatGPT 是怎么创造的？

其实 ChatGPT 也可以看作一个函数，输入就是一段文字，输出就是 ChatGPT 给你的回复。ChatGPT 能做到有问必答，那么背后的函数非常非常的复杂，复杂到里面有上亿个参数。那么这个有着上亿个参数的神经网络叫做 Transformer。如果想要打造这样一个 ChatGPT，就需要准备一大堆的输入和输出，然后使用机器学习把上亿个参数找出来。

使用同样的概念也可以打造画图的 AI。如今已经有很多可以画图的 AI，比如 Stable Diffusion，Midjourney 等。这些画图的 AI 其实也是一个函数，输入是一段文字，输出就是一张图片，它也非常复杂，有上亿个参数。为了找出函数，我们也需要告知机器输入与输出之间的关系。

那么生成式 AI 的挑战到底是什么？按照上面的想法，我们只要收集够多的资料，找出一个函数，就可以做生成式 AI。其实我们的训练数据怎么收集都是不够的。当测试的时候肯定会遇到过训练数据中没有的数据，那么生成式 AI 就需要创造全新的文句，也就是需要有创造力。

那么 ChatGPT 是怎么做到可以产生全新的文句呢？其实它背后的原理可以用“文字接龙”四个字来概括。原本我们做生成式的时候觉得是一个很难的问题，因为一段文字的可能性是无法穷举的。

但是在 ChatGPT 里面，生成一段答案被拆解成一连串的文字接龙。如下图例子所示：

本来你问机器中国最高的山是哪座？你的目标是想让机器答出珠穆朗玛峰这个答案。但是 ChatGPT 做的事情并不是直接把完整的答案产生出来，它将其拆解成一系列的文字接龙。中国最高的山是哪座？它将这个句子视为一个未完成的句子，它在后面预测接哪一个字是合理的，比如接 “珠” 是合理的。然后再把这个字贴到前面去，再做一次文字接龙。然后不断接龙，直到机器输出结束符号就完成了。那么能够做文字接龙的模型叫做 “语言模型”。

把要生产完整答案的问题改成一系列的文字接龙有什么优点呢?之前说生成式 AI 的缺点就是可能的答案是无穷无尽的。但是想想文字接龙的问题，它的答案是有限的。机器在做文字接龙就是要猜出下一个字要接什么？我们常用的字可能也就三四千个，是有限的。那么它就转成了一系列的分类问题。这样的一种生成策略叫做自回归生成（Autoregressive generation）。同样的，图片生成我们是不是也可以拆解成一系列的像素接龙的问题。很多年前，OpenAI 就是使用这种方式打造了图像版的 GPT，但是没有流行起来（Transformer 架构的局限，生成速度慢，并行计算受限等）。