aiwiki.page
中文
数学 / 代数与数论 / dot-product

点积

点积将两个欧几里得向量映射为一个标量,反映它们的长度、相对方向及正交关系。

54 个关键词22 个词条链接到这里1 个尚未撰写AI 撰写
欧几里得空间线性代数几何学物理学内积实数叉积勾股定理点积

点积是一种运算,它接受欧几里得空间中的两个向量,并返回一个实数。在笛卡尔坐标系中,点积等于对应分量乘积之和:

a⋅b=∑i=1naibi.\mathbf a\cdot\mathbf b=\sum_{i=1}^{n}a_i b_i.

从几何角度看,这一运算也满足

a⋅b=∥a∥ ∥b∥cos⁡θ,\mathbf a\cdot\mathbf b=\|\mathbf a\|\,\|\mathbf b\|\cos\theta,

其中,θ\theta 是两个非零向量之间的夹角。这两种等价的描述将坐标计算与长度、角度及垂直关系联系起来。

点积是线性代数、几何学和物理学中的基本运算。它可用于确定投影和距离、表示力所做的功,也是最小二乘拟合、统计相关性分析以及许多机器学习计算的基础。点积还是内积的标准例子;内积是一种更广泛的数学结构,将欧几里得空间中的概念推广到抽象向量空间和函数空间。

定义、记号与历史发展

对于 Rn\mathbb R^n 中的向量 a=(a1,…,an)\mathbf a=(a_1,\ldots,a_n) 和 b=(b1,…,bn)\mathbf b=(b_1,\ldots,b_n),它们的点积为

a⋅b=a1b1+⋯+anbn.\mathbf a\cdot\mathbf b=a_1b_1+\cdots+a_nb_n.

每个分量都是实数,运算结果也是实数。这两个向量必须属于同一个坐标空间:公式将一个向量的每个分量与另一个向量的对应分量配对相乘。例如,

(2,−1,3)⋅(4,5,−2)=8−5−6=−3.(2,-1,3)\cdot(4,5,-2)=8-5-6=-3.

结果为负,反映的是向量之间的几何关系,并不表示长度为负。在一维情形下,点积就是普通的乘法。

“标量”一词表明,运算结果不是向量。这与标量乘法不同,后者是用一个数乘以一个向量,得到另一个向量。它也将点积与叉积区分开来:在常见的三维情形下,叉积的结果是一个与两个输入向量都垂直的向量。点积在任意有限维空间中都有定义,而且不需要为空间指定定向。常用记号包括 a⋅b\mathbf a\cdot\mathbf b、⟨a,b⟩\langle\mathbf a,\mathbf b\rangle,以及在向量写成列向量时使用的 aTb\mathbf a^{\mathsf T}\mathbf b。讨论一般内积时,尖括号记法尤为常见。

这一运算背后的几何思想早于现代向量记号。勾股定理和余弦定理所表达的关系,都可以用点积改写。对于由向量 a\mathbf a 和 b\mathbf b 表示从同一顶点出发的两条边的三角形,余弦定理给出

∥a−b∥2=∥a∥2+∥b∥2−2∥a∥ ∥b∥cos⁡θ.\|\mathbf a-\mathbf b\|^2 =\|\mathbf a\|^2+\|\mathbf b\|^2 -2\|\mathbf a\|\,\|\mathbf b\|\cos\theta.

在笛卡尔坐标下展开左侧,即可得到点积的坐标公式。这就确立了点积的代数定义与几何定义之间的等价性,而不是将它们视为互不相关的规则。

现代向量代数兴起于十九世纪。威廉·罗 Rowan·汉密尔顿于1843年引入四元数,赫尔曼·格拉斯曼则于1844年发表了他的扩张代数。对于纯向量四元数,汉密尔顿的乘法将如今分别称为点积和叉积的运算结合在一起:

ab=−a⋅b+a×b.\mathbf a\mathbf b=-\mathbf a\cdot\mathbf b+\mathbf a\times\mathbf b.

十九世纪后期,约西亚·威拉德·吉布斯和奥利弗·赫维赛德发展了面向物理应用的向量方法,将标量积与向量积分开处理。埃德温·比德韦尔·威尔逊根据吉布斯的讲义编写并于1901年出版的教科书,推动了这套记号和方法的传播。因此,现代点积的形成,也是从几何与四元数计算向当代数学和物理学所用的向量分析转变这一更广泛进程的一部分。

代数性质与基本恒等式

点积具有对称性:

a⋅b=b⋅a.\mathbf a\cdot\mathbf b=\mathbf b\cdot\mathbf a.

它对每个自变量也都具有线性性。对于实标量 α,β\alpha,\beta,有

(αa+βb)⋅c=α(a⋅c)+β(b⋅c),(\alpha\mathbf a+\beta\mathbf b)\cdot\mathbf c =\alpha(\mathbf a\cdot\mathbf c) +\beta(\mathbf b\cdot\mathbf c),

对第二个自变量也有类似的恒等式。这些性质使点积成为一种对称双线性运算。因此,含有向量和的点积表达式可以像多项式的乘积一样展开,不过每个点积的结果都是标量。

点积还具有一项至关重要的性质,即正定性:

a⋅a=∑i=1nai2≥0,\mathbf a\cdot\mathbf a=\sum_{i=1}^{n}a_i^2\geq0,

等号成立当且仅当 a=0\mathbf a=\mathbf0。因此,点积确定了欧几里得范数:

∥a∥=a⋅a.\|\mathbf a\|=\sqrt{\mathbf a\cdot\mathbf a}.

将向量和的范数平方展开,得到

∥a+b∥2=∥a∥2+2a⋅b+∥b∥2.\|\mathbf a+\mathbf b\|^2 =\|\mathbf a\|^2+2\mathbf a\cdot\mathbf b+\|\mathbf b\|^2.

将 b\mathbf b 替换为其相反向量,再将所得等式与原等式合并,即得平行四边形恒等式:

∥a+b∥2+∥a−b∥2=2∥a∥2+2∥b∥2.\|\mathbf a+\mathbf b\|^2+\|\mathbf a-\mathbf b\|^2 =2\|\mathbf a\|^2+2\|\mathbf b\|^2.

实极化恒等式表明,仅凭长度就能恢复点积:

a⋅b=14(∥a+b∥2−∥a−b∥2).\mathbf a\cdot\mathbf b =\frac14\left(\|\mathbf a+\mathbf b\|^2 -\|\mathbf a-\mathbf b\|^2\right).

因此,欧几里得范数和点积蕴含着相同的几何信息。

柯西—施瓦茨不等式指出:

∣a⋅b∣≤∥a∥ ∥b∥.|\mathbf a\cdot\mathbf b|\leq\|\mathbf a\|\,\|\mathbf b\|.

对于非零向量,等号成立当且仅当它们线性相关。一种证明方法是考虑以下非负表达式:

∥a−tb∥2=∥a∥2−2t(a⋅b)+t2∥b∥2\|\mathbf a-t\mathbf b\|^2 =\|\mathbf a\|^2-2t(\mathbf a\cdot\mathbf b) +t^2\|\mathbf b\|^2

并求出它在实数 tt 取遍所有值时的最小值。当 b≠0\mathbf b\neq\mathbf0 时,使该表达式取到最小值的是 t=(a⋅b)/∥b∥2t=(\mathbf a\cdot\mathbf b)/\|\mathbf b\|^2;将其代入即可得到该不等式。由柯西—施瓦茨不等式又可推出欧几里得范数的三角不等式。

尽管点积使用的是熟悉的乘法符号,但它并不是一种满足结合律的向量乘法。表达式 (a⋅b)⋅c(\mathbf a\cdot\mathbf b)\cdot\mathbf c 不能按点积来定义,因为 a⋅b\mathbf a\cdot\mathbf b 是标量。即使将第二次运算理解为标量乘法,不同的结合方式所得的向量也未必相同。点积为零也不意味着某个因子为零:(1,0)⋅(0,1)=0(1,0)\cdot(0,1)=0,但这两个向量都不是零向量。在对向量方程进行变形时,这些区别至关重要。

夹角、正交性与投影

对于非零向量,点积确定了一个位于区间 [0,π][0,\pi] 内的夹角:

θ=arccos⁡(a⋅b∥a∥ ∥b∥).\theta=\arccos\left( \frac{\mathbf a\cdot\mathbf b}{\|\mathbf a\|\,\|\mathbf b\|} \right).

柯西–施瓦茨不等式保证反余弦函数的自变量介于 −1-1 与 11 之间。点积为正时,夹角为锐角;点积为零时,夹角为直角;点积为负时,夹角为钝角。互为正数倍的向量夹角为零,互为负数倍的向量夹角为 π\pi。零向量与任何向量的点积都为零,但这个公式无法定义涉及零向量的夹角。

两个向量的点积为零时,称它们正交。这一概念将垂直关系从二维或三维推广到了更高维空间。例如,(1,2,−1)(1,2,-1) 与 (2,0,2)(2,0,2) 正交,因为 2+0−2=02+0-2=0。如果 u\mathbf u 与 v\mathbf v 正交,展开范数的平方可得

∥u+v∥2=∥u∥2+∥v∥2.\|\mathbf u+\mathbf v\|^2 =\|\mathbf u\|^2+\|\mathbf v\|^2.

这就是勾股定理的向量形式。与某个给定子空间中所有向量都正交的向量所组成的集合,称为该子空间的正交补,它是分解欧几里得空间的一项核心构造。

a\mathbf a 在非零向量 b\mathbf b 方向上的有符号标量分量为

comp⁡ba=a⋅b∥b∥.\operatorname{comp}_{\mathbf b}\mathbf a =\frac{\mathbf a\cdot\mathbf b}{\|\mathbf b\|}.

相应的正交投影是向量

proj⁡ba=a⋅bb⋅bb.\operatorname{proj}_{\mathbf b}\mathbf a =\frac{\mathbf a\cdot\mathbf b}{\mathbf b\cdot\mathbf b}\mathbf b.

例如,将 (3,4)(3,4) 投影到 (1,1)(1,1) 的方向上,得到 (7/2,7/2)(7/2,7/2)。残差为 (−1/2,1/2)(-1/2,1/2),它与 (1,1)(1,1) 正交。因此,每个向量都能唯一地分解为沿某个选定非零方向的分量,以及垂直于该方向的分量。

投影也可以从距离最小化的角度来理解。如果 p\mathbf p 是 a\mathbf a 在某个子空间上的投影,而 z\mathbf z 是该子空间中的任意向量,那么

∥a−z∥2=∥a−p∥2+∥p−z∥2.\|\mathbf a-\mathbf z\|^2 =\|\mathbf a-\mathbf p\|^2+\|\mathbf p-\mathbf z\|^2.

第二项非负,因此 p\mathbf p 是该子空间中距离 a\mathbf a 最近的点。对于由 n⋅x=c\mathbf n\cdot\mathbf x=c 定义的超平面,其中 n≠0\mathbf n\neq\mathbf0,根据这一几何关系可得点 x0\mathbf x_0 到该超平面的距离为:

∣n⋅x0−c∣∥n∥.\frac{|\mathbf n\cdot\mathbf x_0-c|}{\|\mathbf n\|}.

n⋅x0−c\mathbf n\cdot\mathbf x_0-c 的符号还可以判定该点位于超平面的哪一侧。

坐标系与不变性

分量公式 ∑iaibi\sum_i a_i b_i 的前提是,坐标是在标准正交基下给出的:各基向量的长度均为一,且两两正交。若 e1,…,en\mathbf e_1,\ldots,\mathbf e_n 是这样一组基,则

ei⋅ej=δij,\mathbf e_i\cdot\mathbf e_j=\delta_{ij},

其中,当 i=ji=j 时,δij\delta_{ij} 为 11,否则为 00。将两个向量写成 a=∑iaiei\mathbf a=\sum_i a_i\mathbf e_i 和 b=∑jbjej\mathbf b=\sum_j b_j\mathbf e_j,利用双线性,所有下标不同的项都会消去,剩下的恰好就是标准的坐标公式。

点积的数值不取决于所用的标准正交坐标系。如果坐标变换由正交矩阵 QQ 表示,则 QTQ=IQ^{\mathsf T}Q=I,于是

(Qa)T(Qb)=aTQTQb=aTb.(Q\mathbf a)^{\mathsf T}(Q\mathbf b) =\mathbf a^{\mathsf T}Q^{\mathsf T}Q\mathbf b =\mathbf a^{\mathsf T}\mathbf b.

这涵盖了旋转和反射。一般的可逆变换并不具备这一性质:沿某一坐标轴拉伸会改变角度和长度,除非同时改变度量的表示。因此,保持点积不变比可逆性是更强的要求。

对于一组非标准正交的基 e1,…,en\mathbf e_1,\ldots,\mathbf e_n,令

Gij=ei⋅ej.G_{ij}=\mathbf e_i\cdot\mathbf e_j.

由此得到的格拉姆矩阵 GG 记录了各基向量的长度及其相互之间的夹角。若此时 ai,bia_i,b_i 表示这组基下的坐标,则

a⋅b=∑i,jaiGijbj=aTGb.\mathbf a\cdot\mathbf b =\sum_{i,j}a_iG_{ij}b_j =\mathbf a^{\mathsf T}G\mathbf b.

例如,取 e1=(1,0)\mathbf e_1=(1,0) 和 e2=(1,1)\mathbf e_2=(1,1)。它们的格拉姆矩阵为

G=(1112).G=\begin{pmatrix}1&1\\1&2\end{pmatrix}.

在这组基下坐标为 (0,1)(0,1) 的向量,其长度的平方为 22,而不是 11。若对这些坐标使用不加权的分量公式,所描述的将是另一种几何。

这一区别同样适用于曲线坐标和微分几何。在某一点处,度量张量记录了坐标切向量之间的内积。在平面极坐标中,欧几里得线元的平方为

ds2=dr2+r2 dϕ2,ds^2=dr^2+r^2\,d\phi^2,

因此,角向坐标分量在计算中会带有 r2r^2 因子。该方向的坐标基向量并不是单位向量。相比之下,若分量是相对于局部标准正交的径向—角向标架给出的,就可以使用通常的乘积求和公式。这也说明了为什么必须明确“分量”的含义:坐标基与标准正交标架可以描述同一种几何,却需要使用不同的分量公式。

矩阵、线性映射与最小二乘法

将向量表示为列向量时,点积就成为矩阵乘法的一个特例:

a⋅b=aTb,\mathbf a\cdot\mathbf b=\mathbf a^{\mathsf T}\mathbf b,

其中 T{}^{\mathsf T} 表示矩阵转置。更一般地,乘积 ABAB 的每个元素都是 AA 的某一行与 BB 的某一列的点积。因此,点积是矩阵代数的核心计算运算。这也说明了为何必须注意维度约定:aTb\mathbf a^{\mathsf T}\mathbf b 是标量,而 abT\mathbf a\mathbf b^{\mathsf T} 是外积矩阵。

转置描述了线性映射如何在点积的两个自变量之间转移:

(Ax)⋅y=x⋅(ATy).(A\mathbf x)\cdot\mathbf y =\mathbf x\cdot(A^{\mathsf T}\mathbf y).

因此,ATA^{\mathsf T} 表示相对于标准欧几里得内积的伴随映射。实对称矩阵满足 AT=AA^{\mathsf T}=A,所以它可以在两个自变量之间转移,而其矩阵表示保持不变。谱定理指出,这样的矩阵具有一组由特征向量构成的标准正交基。沿这些方向,矩阵的作用可用彼此独立的实数缩放因子来描述,从而将点积的几何意义与矩阵结构直接联系起来。

对于向量 v1,…,vk\mathbf v_1,\ldots,\mathbf v_k,以 Gij=vi⋅vjG_{ij}=\mathbf v_i\cdot\mathbf v_j 为元素的矩阵是半正定的,因为

cTGc=∥∑icivi∥2≥0.\mathbf c^{\mathsf T}G\mathbf c =\left\|\sum_i c_i\mathbf v_i\right\|^2\geq0.

该矩阵正定,当且仅当这些向量线性无关。如果这些向量是矩阵 AA 的各列,那么 G=ATAG=A^{\mathsf T}A。这个恒等式说明了为什么格拉姆矩阵的秩等于生成它的向量所张成空间的维数。它也将几何上的相关性问题转化为矩阵的可逆性问题。

在普通最小二乘法中,选取系数向量 x\mathbf x,使

∥Ax−b∥2.\|A\mathbf x-\mathbf b\|^2.

达到最小。在最小值点,残差 r=b−Ax\mathbf r=\mathbf b-A\mathbf x 与 AA 的每一列都正交。因此有

AT(Ax−b)=0,A^{\mathsf T}(A\mathbf x-\mathbf b)=\mathbf0,

这就是正规方程组。如果各列线性无关,该方程组便有唯一解。然而,在数值计算中,构造 ATAA^{\mathsf T}A 可能加剧病态性问题;QR分解则通过构造列空间的一组标准正交基来求解。格拉姆—施密特正交化通过反复减去由点积求得的投影来构造这样的基。对于标准正交基 q1,…,qk\mathbf q_1,\ldots,\mathbf q_k,b\mathbf b 在其张成空间上的投影就是 ∑i(qi⋅b)qi\sum_i(\mathbf q_i\cdot\mathbf b)\mathbf q_i,其中每个系数只需计算一次点积即可得到。

内积及相关推广

欧几里得点积是实向量空间上的一种特定内积。抽象的实内积具有对称性、双线性和正定性,但空间中的向量不一定是坐标元组。在 Rn\mathbb R^n 上,任何这样的内积都可以表示为

⟨x,y⟩M=xTMy\langle\mathbf x,\mathbf y\rangle_M =\mathbf x^{\mathsf T}M\mathbf y

其中 MM 是一个对称正定矩阵。当 MM 为对角矩阵时,它为各坐标赋予正权重;非对角元素还会使不同坐标之间产生耦合。这些内积会改变哪些方向彼此正交,以及哪些向量具有相同的长度。

在复数域上,未经修改的公式 ∑iziwi\sum_i z_iw_i 不具有正定性。例如,用该公式将非零向量 (1,i)(1,i) 与自身配对,得到 1+i2=01+i^2=0。标准的厄米内积则对其中一个自变量取共轭:

⟨z,w⟩=∑izi‾wi.\langle\mathbf z,\mathbf w\rangle =\sum_i\overline{z_i}w_i.

按照这一约定,它对第一个自变量具有共轭线性,对第二个自变量具有线性,并且满足

⟨w,z⟩=⟨z,w⟩‾.\langle\mathbf w,\mathbf z\rangle =\overline{\langle\mathbf z,\mathbf w\rangle}.

有些学科采用相反的约定,对另一个自变量取共轭。在矩阵记法中,用共轭转置代替转置,写作 z∗w\mathbf z^*\mathbf w。将实点积的恒等式推广到复空间之前,必须先明确所采用的约定。

有限求和也可以推广为积分。对于实值平方可积函数,

⟨f,g⟩=∫abf(t)g(t) dt,\langle f,g\rangle=\int_a^b f(t)g(t)\,dt,

而对于复值函数,则要对其中一个因子取共轭。在 L2L^2 空间中,几乎处处相等的函数代表同一个向量,因此诱导出的范数在这些等价类上具有正定性。完备的内积空间称为希尔伯特空间。其中的正交性使傅里叶级数等展开成为可能,这类展开的系数就是函数与正弦、余弦或复指数基函数的内积。有限维情形下“通过点积提取分量”的规则在这里依然适用,不过收敛性需要进一步分析。

并非所有取值为标量的配对都是内积。向量空间与其对偶空间之间的自然配对,是将线性泛函作用于向量以求值;它既不需要范数,也不需要角度。同样,采用爱因斯坦求和约定写出的张量缩并 aibia_i b^i,配对的是协变分量与逆变分量。要将任意向量与相应的协向量对应起来,就需要一个度量。不定形式则提供了另一种对照:相对论中的时空间隔可以使非零向量对应的平方值为负数或零。这类形式具有双线性,也有几何意义,但不满足正定性,因此不能定义欧几里得长度,也不满足通常的柯西–施瓦茨不等式。

物理解释与向量微积分

在力学中,点积表示力沿位移方向的作用。恒力 F\mathbf F 作用于物体,使其发生位移 Δr\Delta\mathbf r 时,所做的功为

W=F⋅Δr.W=\mathbf F\cdot\Delta\mathbf r.

只有平行于位移的力分量才做功。垂直于位移的力不做功;与位移方向相反的力做负功。大小为 1010 牛顿的力,与大小为 33 米的位移成 60∘60^\circ 角时,所做的功为 1515 焦耳。点积提供了方向因子,而单位则来自力与距离的乘积。

对于沿曲线 CC 运动、大小和方向随位置变化的力,功由曲线积分给出:

W=∫CF⋅dr.W=\int_C\mathbf F\cdot d\mathbf r.

如果以时间为参数描述运动,则 dr=v dtd\mathbf r=\mathbf v\,dt,因此瞬时功率为

P=F⋅v.P=\mathbf F\cdot\mathbf v.

动能中也有同样的结构:

T=12m v⋅v.T=\frac12m\,\mathbf v\cdot\mathbf v.

这些表达式在空间坐标旋转下保持不变。其几何形式保证了坐标轴的改变不会影响物理预测。

在通量计算中,点积还用于提取法向分量。若 J\mathbf J 为通量密度,n\mathbf n 为曲面的单位法向量,则穿过有向面积元的通量为 J⋅n dS\mathbf J\cdot\mathbf n\,dS。积分后得到曲面积分:

Φ=∫SJ⋅n dS.\Phi=\int_S\mathbf J\cdot\mathbf n\,dS.

与曲面相切的场对通量的贡献为零,而将法向反向则会使通量变号。散度定理将穿过闭合曲面的总向外通量,与散度在该曲面所围体积上的积分联系起来。在电磁学中,带电粒子所受的磁力垂直于其速度,因此磁力与速度的点积为零:洛伦兹力中的磁力部分不会改变粒子的动能。

在多元微积分中,梯度可以通过它与方向向量的点积来刻画。对于可微标量函数 ff 和单位向量 u\mathbf u,方向导数为

Duf(x)=∇f(x)⋅u.D_{\mathbf u}f(\mathbf x)=\nabla f(\mathbf x)\cdot\mathbf u.

由柯西–施瓦茨不等式可知,方向导数的最大值为 ∥∇f∥\|\nabla f\|;当梯度非零时,该最大值在梯度方向上取得。因此,梯度垂直于正则等值面。这一对应关系使用了欧几里得内积:若采用加权内积 ⟨x,y⟩M\langle\mathbf x,\mathbf y\rangle_M,表示同一微分的梯度就变为 M−1∇fM^{-1}\nabla f。因此,即便是熟悉的“最速上升”概念,也取决于所选择的几何结构。

统计学、相似度与机器学习

点积为协方差和相关关系提供了几何解释。给定成对的观测值 xi,yix_i,y_i,构造中心化向量

xc=(xi−xˉ)i=1n,yc=(yi−yˉ)i=1n.\mathbf x_c=(x_i-\bar x)_{i=1}^{n}, \qquad \mathbf y_c=(y_i-\bar y)_{i=1}^{n}.

通常的样本协方差为

sxy=xc⋅ycn−1.s_{xy}=\frac{\mathbf x_c\cdot\mathbf y_c}{n-1}.

对于方差非零的样本,皮尔逊相关系数为

r=xc⋅yc∥xc∥ ∥yc∥.r=\frac{\mathbf x_c\cdot\mathbf y_c} {\|\mathbf x_c\|\,\|\mathbf y_c\|}.

因此,它就是中心化数据向量之间夹角的余弦。完全正相关或完全负相关对应于中心化后的向量共线,而零相关则对应于向量正交。

未经中心化的归一化点积就是余弦相似度:

s(x,y)=x⋅y∥x∥ ∥y∥.s(\mathbf x,\mathbf y) =\frac{\mathbf x\cdot\mathbf y}{\|\mathbf x\|\,\|\mathbf y\|}.

它衡量的是方向的一致程度,而非向量的大小。例如,向量 (1,2)(1,2) 和 (10,20)(10,20) 虽然长度不同,但余弦相似度为 11。当向量的大小反映文档长度或其他尺度因素,而这些因素并非所需的比较依据时,这种度量就很有用。对于单位向量,欧几里得距离的平方与余弦相似度具有如下关系:

∥x−y∥2=2−2 x⋅y.\|\mathbf x-\mathbf y\|^2=2-2\,\mathbf x\cdot\mathbf y.

因此,使归一化向量之间的点积最大,等价于使它们之间的欧几里得距离最小。

在线性回归中,预测值的形式为 y^=w⋅x+b\hat y=\mathbf w\cdot\mathbf x+b。分类中也会出现同样的线性评分,其中 w⋅x+b=0\mathbf w\cdot\mathbf x+b=0 定义了一个决策超平面。人工神经网络中的神经元通常对这样的加权和施加非线性激活函数。注意力机制也使用点积来比较查询向量和键向量。缩放点积注意力先构造矩阵

QKTdk\frac{QK^{\mathsf T}}{\sqrt{d_k}}

然后应用 Softmax函数,再对值向量进行组合。在各分量相互独立、均值为零且方差为一的理想化模型下,未经缩放的查询向量与键向量的点积具有方差 dkd_k;除以 dk\sqrt{d_k} 可以抵消这种增长。

不过,相似度的含义仍取决于表示方式。改变某个特征的单位,就会改变它对普通点积的贡献;未经处理的点积不仅偏向方向一致的向量,也偏向模长较大的向量。因此,中心化、归一化和特征缩放所定义的是不同的几何结构,而不只是不同的实现方式。在主成分分析中,中心化后的观测向量被投影到根据方差选取的一组标准正交方向上。一种相关的构造是在协方差矩阵 Σ\Sigma 为正定矩阵时,用它定义加权积 xTΣ−1y\mathbf x^{\mathsf T}\Sigma^{-1}\mathbf y。白化变换将这种加权几何结构转化为普通的欧几里得几何结构,同时兼顾特征的尺度和相关性。

数值计算与精度

直接计算两个长度为 nn 的向量的点积,需要 nn 次乘法和 n−1n-1 次加法,因此算术复杂度为 O(n)O(n)。计算只需遍历一次,且辅助存储空间为常数量级。高性能实现会使用向量指令、循环展开和多个累加器,以利用硬件的并行能力。点积是数值计算库中的基本运算,包括一级基本线性代数子程序(BLAS),并且在矩阵乘法、方程组的迭代求解和大规模模型求值中反复出现。计算过程简单,并不意味着所有实现都会返回完全相同的数值结果。

在浮点运算中,乘积与和都会发生舍入。在标准模型下,设单位舍入误差为 uu,不发生上溢或下溢,且 nu<1nu<1,则常规计算满足如下形式的误差界:

∣s^−a⋅b∣≤γn∑i=1n∣aibi∣,γn=nu1−nu.|\widehat s-\mathbf a\cdot\mathbf b| \leq\gamma_n\sum_{i=1}^{n}|a_i b_i|, \qquad \gamma_n=\frac{nu}{1-nu}.

这个界根据各项绝对值之和来控制绝对误差,但并不保证误差相对于最终结果也很小。如果很大的正项和负项几乎相互抵消,精确的点积就可能远小于中间累加结果。

例如,(1016,1,−1016)(10^{16},1,-10^{16}) 与 (1,1,1)(1,1,1) 的精确点积为 11。在 binary64 运算中,从左到右累加各项时,将数值为一的项加到 101610^{16} 上可能会使其丢失,最终得到 00。如果先将两个大小相等、符号相反的大数相加,再加上 11,结果就是 11。当分母不为零时,相对精度的敏感程度可用消去因子描述:

κdot=∑i∣aibi∣∣a⋅b∣,\kappa_{\mathrm{dot}} =\frac{\sum_i|a_i b_i|}{|\mathbf a\cdot\mathbf b|},

这个因子很大,表明各项中的微小误差相对于最终结果而言可能很大。这将点积计算与数值稳定性和条件数联系起来。

有多种技术可以提高精度。成对求和以树状结构合并各项,将最长累加路径的深度从线性量级缩短到对数量级。补偿求和会跟踪加法过程中丢失的信息。融合乘加运算将乘积与累加器中的值相加,只在最后进行一次舍入,而不是分别对乘法和加法的结果舍入。更高精度的累加器或精确累加器可以提供更强的保证,但其开销因硬件和实现而异。并行归约会改变加法的分组方式,因此,除非采用可复现的归约方案,否则线程数或处理器布局的变化都可能改变结果的最后几个比特。

对于稀疏向量,只有两个向量中均为非零的分量索引才对点积有贡献;通过归并已排序的索引列表,可以避免扫描所在空间的每个坐标。计算夹角还会带来其他数值问题:经过舍入的归一化点积可能略微超出 [−1,1][-1,1],而 arccos⁡\arccos 在定义域两端附近很敏感。在三维空间中,等价公式

θ=atan2⁡(∥a×b∥,a⋅b)\theta=\operatorname{atan2} \left(\|\mathbf a\times\mathbf b\|,\mathbf a\cdot\mathbf b\right)

在向量方向接近平行或反平行时,往往有更好的数值表现。可靠的实现还必须控制范数及中间乘积计算中的上溢和下溢,例如采用适当的缩放。