Introduction to linear algebra

Lesson1 几何解释与矩阵运算

the whole course key idea is matrix operations, not as words

row picture and column picture

row picture : 不同平面，曲线或者高维的面作图

column picture: linear combinations of columns of the matrix

行列式的计算

$$\mathbf{A}\mathbf{x} = \mathbf{b}$$

eg. 2 by 2 system

solution 1:

转化为linear combination

$$\left[\begin{matrix}2 & 5 \\ 1 & 3\end{matrix}\right]\left[\begin{matrix}1 \\ 2\end{matrix}\right] = 1\left[\begin{matrix}2 \\ 1\end{matrix}\right] + 2\left[\begin{matrix}5 \\ 3\end{matrix}\right] = \left[\begin{matrix}12 \\ 7\end{matrix}\right]$$

solution2:

$$\left[\begin{matrix}2 & 5 \\ 1 & 3\end{matrix}\right]\left[\begin{matrix}1 \\ 2\end{matrix}\right] = \left[\begin{matrix}2 \times 1 + 5 \times 2 \\ 1 \times 1 + 3 \times 2\end{matrix}\right]$$

but solution1 is better:

Ax is a combination of columns of A

Elimination （消元法）Gauss-Jordan Elimination

elimination is the way every software package solves equations

$$\begin{matrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \\ \end{matrix} \to \begin{matrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \\ \end{matrix} \to \begin{matrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \\ \end{matrix}$$

1. 找到主元1x，第一行x的系数是1，所以把第一行作为主元行，find the pivot row (eliminate x use subtraction) ，主元行保持不变，对其他行进行消元
2. 找到主元2y 重复1. 最终得到一个上三角矩阵U

所以说，消元的目的是从原始矩阵A得到上三角矩阵U，这是计算科学中最普遍的运算。

• 如果0占据了主元的位置，进行行交换
• 如果找不到交换的，矩阵不可逆(not invertible)

back substitution

代入b到A

$$\begin{matrix} 1 & 2 & 1 & 2 \\ 3 & 8 & 1 & 12 \\ 0 & 4 & 1 & 2 \\ \end{matrix} \to \begin{matrix} 1 & 2 & 1 & 2 \\ 0 & 2 & -2 & 6 \\ 0 & 4 & 1 & 2 \\ \end{matrix} \to \begin{matrix} 1 & 2 & 1 & 2 \\ 0 & 2 & -2 & 6 \\ 0 & 0 & 5 & -10 \\ \end{matrix}$$

这个被称为增广矩阵（the augmented matrix),最后一列称为c

写成方程的形式：

$$x + 2y + z = 2 \\ 2y - 2z = 6 \\ 5z = -10 \\$$

this is the equation U x =c

the elimination matrix

行变换

1. subtract 3 times row1 from row 2 ==E₂₁== $$\left[\begin{matrix}1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1\end{matrix}\right] \left[\begin{matrix}1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1\end{matrix}\right] = \left[\begin{matrix}1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1\end{matrix}\right]$$
2. subtract 2 times row 2 from row 3 ==E₃₂==

$$\left[\begin{matrix}1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -2 & 1\end{matrix}\right] \left[\begin{matrix}1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1\end{matrix}\right] = \left[\begin{matrix}1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5\end{matrix}\right]$$

So:

$$E_{32}(E_{21}A) = U \\ what \times A = U \\ (E_{32}E_{21})A = U \\ EA = U$$

permutation：

exchange rows 1 and 2

$$\left[\begin{matrix}0 & 1 \\ 1 & 0\end{matrix}\right] \left[\begin{matrix}a & b \\ c & d\end{matrix}\right] = \left[\begin{matrix}c & d \\ a & b\end{matrix}\right]$$

交换单位矩阵(identity matrix)的行

但左乘无法对矩阵

$$\left[\begin{matrix}a & b \\ c & d\end{matrix}\right] $$进行列变换，进行列变换需要进行右乘 #### a better way to get U back to A reversing step: inverse matrix: 1. "inverse" mean: 2.$$

\left[\right]
\left[\right] =
\left[\right]

$$即$E^{-1}E=I$ ### 矩阵运算的特征 1. associative law（结合律） 2. 置换矩阵 3. 矩阵乘法不能交换，$AB \neq BA$ ### 矩阵的运算法则 #### 矩阵乘法 rows of A times columns of B： let's talk about $AB=C$ row i and column j of **C**,calculate it:$$

c_{ij} = (\text{row } i \text{ of } A) \cdot (\text{column } j \text{ of } B) = \sum_{k=1}^n a_{ik}b_{kj}

$$矩阵相乘并不要求是方阵，即并不要求是square matrix 但A的列数必须与B的行数相同 这是标准的方法。 但可以考虑整行与整列的方法 1. columns of C are linear combinations of columns of A 2. rows of C are combinations of rows of B 3. columns of A times rows of B$$

\text{column of } A \times \text{row of } B = [m \times 1][1 \times p] \
AB = \sum (\text{column of } A) \cdot (\text{row of } B)

$$5. cut the matrix to blocks, and block multiplication$$

A = \
B = \
C =

$$#### Inverses (square matrices) 对于矩阵而言，逆是否存在是一个很重要的问题，如果存在，如何求逆也是一个问题。 如果**A⁻¹**存在，有如下公式：$$

A^{-1}A = I = AA^{-1}

$$如果A是非方阵，左逆是不等于右逆的。 以上可逆的矩阵**A**称为`invertible` `non-singular`. 不可逆的矩阵**A**的一个例子:$$

A =

$$A不可逆的原因：我可以找到一个$x (x \neq 0)$使得$Ax = 0$ 所以如何求出**A**的逆？ 假设一个2×2的矩阵A$$

A = \
A^{-1}A = I \
A \times (\text{column } j \text{ of } A^{-1}) = \text{column } j \text{ of } I

$$##### the Gauss-Jordan idea(solve two equations at once) 增广矩阵：$$

\left[\right] \
将左侧变为单位阵,右侧就是A的逆矩阵 \
\left[\right] \to
\left[\right] \
A^{-1} =

$$##### 消元矩阵的乘法$$

A = LU

$$inverse of **AB**,**Aᵀ**:$$

(AB)(B^{-1}A^{-1}) = I \

$$transpose Aᵀ:转置的逆是逆的转置$$

AA^{-1} = I\ \text{两侧同时转置} \
(A^{-1})^\top A^\top = I \
(A^{-1})^\top = (A^\top)^{-1}

$$消元的目的是为了正确认识矩阵的概念，只是行变换。 消元矩阵的逆见[above2](#a-better-way-to-get-u-back-to-a)$$

A = \
E_{21} = \
E_{21}A = U \
U = \
A = LU \
L = E_{21}^{-1} = \
有时候会把主元单独列出来 \
A =

= LDU

$$对于3×3矩阵的分解示例：$$

E_{32}E_{21} = E \

=
\
L = E_{21}^{-1}E_{32}^{-1} =

=

$$### transposes and permutation #### permutations 置换矩阵的性质：$$

P^{-1} = P^\top

$$