第2章最优化问题数学基础
第二章最优化问题数学基础
为了便于学习最优化方法，本章将对与优化方法密切相关的数学知识作一简要介绍，而有些数学知识将在讲解各种算法时，随之介绍．
§2.1二次型与正定矩阵
一、二次型与实对称矩阵
二次型理论在最优化设计中应用十分广泛．应用矩阵的乘法运算，二次型与实对称矩阵紧密地联系在一起了，从而二次型的基本问题又可转化成实对称矩阵问题．
二次型理论问题起源于化二次曲线和二次曲面的方程为标准形式的问题．推广到n维空间中，二次超曲面的一般方程为
f(x1，x2，?，xn)?a11x12?a12x1x2???a1nx1xn?2a21x2x1?a22x2???a2nx2xn?????????????2?an1xnx1?an2xnx2???annxnnn???aijxixj，i?1j?1用矩阵表示可简记为
1 / 28
第2章最优化问题数学基础
?x1??x?nnf(x1，x2，?，xn)???aijxixj?[x1，x2，?，xn]A?2????i?1j?1???xn?a?aji(i?j)?XTAX，其中矩阵A的元素ij正是二次型的
xixj2axiii项的系数的一半，是二次型的项的系数．因此，二次型
和它的矩阵A是相互唯一决定的，且A?AT．
二、正定矩阵
定义2.1如果二次型
f(x1，x2，?，xn)???aijxixj?XTAXi?1j?1nnx2，?，xn恒对于任何一组不全为零的数x1，有
f(x1，x2，?，xn)?XTAX?0，
x2，?，xn)正定，且二次型矩阵A也称为正定． 则称f(x1，x2，?，xn)?XTAX对简言之，一个对称矩阵A如果是正定的，则二次型f(x1，于所有非零向量X其值总为正．类似可以给出定义，若二次型
Tf(x1，x2，?，xn)?XTAX?0，则A为半正定矩阵；若XAX?0，则A为半负定矩阵；
若二次型XTAX既不是半正定又不是半负定，就称矩阵A为不定的．
矩阵A为正定的充要条件是它的行列式|A|的顺序主子式全部大于零，即
2 / 28
第2章最优化问题数学基础
a11a?0，，21an1a12a22an2a1na2nanna11?0，a11a21a12a22?0．
由此可见，正定矩阵必然是非奇异的．
?421??A??230????102??是否正定． 例2.1判断矩阵
解∵
424?0，?8?0，230?13?023102421，
∴A是正定的．
§2.2方向导数与梯度
一、方向导数
所谓方向导数的概念是作为偏导数的一个推广而引入的，它主要研究函数沿任一给定方向的变化率．
n1定义2.2设f:R?R在点X0处可微，P是固定不变的非零向量，e是方向
P上的单位向量，则称极限
2 / 28
【精品】第2章最优化问题数学基础
