梯度下降的结果依赖于初始值的情况—-局部最优.

The Trace of Matrix 矩阵的迹

矩阵的迹等于主对角线元素之和.

$tr(A)=tr(A) = \sum_{i=1}^{n}A_{ii}$

矩阵迹的几个特征:

1.For $A \in R^{n x n}$, trA = $trA^T$

$(A^T){ij} = A{ji}$. When i=j, $(A^T){ii} = A{ii}$ 矩阵和矩阵的转置主对角线元素相等,所以,它们的迹也相等.

2.For $A,B \in R^{n x n}$, tr(A+B) = trA + trB

方阵A加B的迹等于方阵A,B迹之和[和的迹等于迹的和].

$tr(A+B)=\sum_{i=1}^{n}(A_{ii})+B_{ii}=\sum_{i=1}^{n}A_{ii} + \sum_{i=1}^{n}B_{ii}=trA+trB$

3.For $A \in R^{n x n}$,$t\in R$, tr(tA) = t trA.

实数倍的矩阵的迹等于矩阵迹的实数倍.

$tr(tA) =\sum_{i=1}^{n}tA_{ii}=t\sum_{i=1}^{n}A_{ii}=t trA$.

4.For A,B such that AB is square, trAB = trBA

当AB是方阵时,AB的迹等于BA的迹.

$trAB=\sum_{i=1}^{n}AB_{ii}=\sum_{i=1}^{n}a_{i}^Tb_{i}=\sum_{i=1}^{n}b_{i}^Ta_{i}=\sum_{i=1}^{n}{AB}_{ii}=trBA$

5.For A,B,C such that ABC is square, trABC=trCAB=trBCA, and so on for the product of more matrices.

当矩阵ABC是方阵时,ABC的迹等于CAB的迹等于BCA的迹[ABC,后面的矩阵一次往第一个位置放],对于更多的矩阵乘积[只要乘积结果是方阵]也成立.

根据第4条,将AB看做矩阵A,C看做矩阵B,那么依据规律4,可以得到tr(AB)C=trC(AB).也就是说trABC=trCAB.同理,tr(CA)B=trB(CA).

The Rank of Matrix

在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性独立的横行的极大数目。

矩阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵A的秩。通常表示为r(A)，rk(A)或rank A。

几个常见规律:

1.For $A \in R^{m x n}$, rank(A) <= min(m,n). If rank(A) = min(m,n), then A is said to be full rank

矩阵A的秩小于等于矩阵行数和列数的最小值.如果矩阵的秩等于行和列的最小值,称矩阵A为满秩矩阵.

2.For $A \in R^{m x n}$, $rank(A) = rank(A^T)$

矩阵A的秩等于A转置矩阵的秩.

3.For $A \in R^{m x n}$, $B\in R^{n x p}$, rank(AB) <= min(rank(A), rank(B))

矩阵AB的秩小于等于矩阵A的秩和矩阵B的秩的最小值.

4.For $A,B \in R^{m x n}$, rank(A+B) <= rank(A) + rank(B)

矩阵A,B和的秩小于等于A,B矩阵秩的和.

Two vectors $x,y \in R^{n}$ are orthogonal if $x^Ty=0$.两个向量内积为0时,称两个向量正交. A vector $x \in R^n$ is normalized if $||x||_2 = 1$$. 当向量的l2范数为0时,称向量为单位向量.

正交矩阵是一个方阵，其元素为实数，而且行与列皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵. $UU^T = U^TU=E$

The determinant of a square matrix $A\in R^{n x n}$, is a function det: $R^{n x n} \to R$, and is denoted |A| or detA.