“生成式AI或者说AIGC的本质是一种基于概率分布的数据表征技术”
最近一段时间一直在做AIGC(人工智能生成内容)方面的应用,而AIGC属于生成式AI的范畴;刚开始只是把这些生成式AI拿过来用一下,但随着对大模型了解的加深,突然发现生成式AI好像也没有那么简单。
比如说,生成式AI是怎么实现的?可能有人会这么回答,是基于Transformer等架构实现,基于概率分布的一种模型。当然,这么说好像也没错,但非生成式AI又是怎么实现的呢?
生成式AI
什么是生成式AI?
简单来说,能够根据输入输出新的内容的AI就是生成式AI;但生成式AI是怎么做到的呢?
有很多人会把大模型当作生成式AI,但事实上生成式AI和大模型并不是一回事;生成式AI属于更宽泛的一个范畴,任何能够实现内容生成的AI技术都属于生成式AI。
但大模型生成内容只是生成式AI的一种实现方式,除了大模型之外还有其它的方式可以实现生成式AI;比如,隐马尔可夫模型,生成对抗网络等。
那生成式AI是怎么实现的呢?它的技术原理是什么?我们都知道模型在设计完成之后,使用训练数据进行训练,就可以让模型生成相关领域的内容;但这个模式是怎么设计实现的呢?
严格来说,现在的生成式AI都是基于概率分布实现的;生成式AI主要分为两个部分:
学习数据分布:通过训练数据学习输入特征X和标签Y的联合概率分布P(X, Y)
生成新样本: 通过条件概率P(X|Y)或P(Y|X),生成新的数据样本
所以,简单来说生成式AI就做了两件事,学习旧数据,生成新样本;大模型的训练就是学习的过程,而回答问题或生成内容就是在生成新的样本。
但具体怎么学旧数据,又怎么生成新样本,这是一个需要解决的问题;而目前的生成式大模型大都是基于Transformer架构,实现的一种数学模型。
所以,生成式AI是一种通过学习联合概率分布,从而能够生成新的数据样本;它不仅能够分类,而且能生成与训练数据相似的样本,而这也是AIGC的基础,没有它AIGC就是水中月,镜中花。
这也解释了,为什么大模型需要大量的线性运算,原因就在于只有线性的概率分布,才有预测的可能性;毕竟大模型需要就是有迹可循。
ok ,既然前面说了生成式大模型是基于概率进行预测,那怎么才能用概率去表征训练数据呢?也就是说大模型学习的原理是什么样的?
大模型训练或者说学习的过程,就是对训练数据的表征过程,通过对训练数据的表征,大模型参数就可以记录不同数据之间的关系,比如用向量进行表示。
通过计算不同数据之间的向量关系,以此来表示数据之间的概率关系等。
因此,以目前市面上各种各样的AIGC产品来看,比如文字,图像,视频,音乐,代码生成等模型;都是通过一种数学模型和算法,来表征这些数据之间的关系,也就是空间向量的坐标关系。
通过这些关系,大模型就能够去理解用户的输入,然后根据输入生成新的数据样本。
所以,生成式AI的本质或者说AIGC的本质,是通过对某种数据特征的学习和描述;然后再根据这些数据特征,去生成相似的新的数据。
举例来说,小孩子第一次看到照片,他也不懂得摄像的技术,也不知道什么是像素点;但如果你告诉他,用笔这样,那样,再这样就可以画出一幅画;那么他就会模仿你这个行为去画一幅画,虽然他可能并不知道这是一幅画。
而这就是数据的表征,虽然大模型并不知道什么是像素点,什么是采光;但它能根据不同图像之间的区别,记住这样那样再这样就可以生成一幅画。
所以说,生成式AI或者说生成式大模型的本质是一种数据表征技术,然后根据表征特点的概率,生成一个最符合当前概率的内容。
而生成式AI最大的作用就是——创造,通过这种方式可能会让AI具备远超人类本身的创造力。
原文链接: