AI 기초 공부/AI 기초 이론 + 선형대수
- Diagonalization Problem
- $ A = N*N , P =N*N, D $는 대각행렬일때 $A = P*D*P^{-1}$을 만족하는 $A$가 존재하는가
- 대각행렬이란 대각선에만 숫자가 있는 행렬
- 모든 $A$가 가능한 것은 아니다.
- Lineary Independent한 N개의 Eigen Vecotor가 존재하는 $A$만 성립한다.
- $ P= \begin{bmatrix}X^{1} & X^{2}& \cdots & X^N \end{bmatrix} $
- $ D= \begin{bmatrix} \lambda^{1} & 0&0&0 \\ 0&\lambda^{2}&0&0\\0&0& \ddots &0 \\ 0&0&0 & \lambda^N \end{bmatrix} $
- 각각의 \lambda 는 Eigen Value를 의미한다.
- Transpose Matrix
- Symmetric matrix
- $A = A^T$ 를 만족하는 행렬
- A의 모든 수가 실수이면 A의 Eigen Value는 모두 실수
- 반드시 N개의 서로다른 Eigen value를 가지고 있다.
- Unit Norm
- $ \| X \| = 1$ 을 만족하는 X
- $X = \begin{bmatrix} x_1 \\x_2 \\ \vdots \\x_n \end{bmatrix} $ 일때 $\| X \| = \sqrt{{x_1}^2 + {x_2}^2 +\cdots+{x_n}^2 } $
- $A$가 Diagnoalised Matrix 이면 $A^M$ 을 쉽게 구할 수 있다.
- Deep Learning에서는 연산을 여러번 반복하기 때문에 행렬곱을 빠르게 구할 수 있는 것이 좋다.
- $A^M = PD^MP^{-1}$
- $ D = \begin{bmatrix}a & & \\ & b & \\ & & c \end{bmatrix}$ 이면 $
D^M = \begin{bmatrix}a^M & & \\ & b^M & \\ & & c^M \end{bmatrix} $ 이다.
- 1X1 행렬에서 Determinant
- $A = \alpha $ 이면 $det(A) = \alpha $
- NXN 행렬에서 Determinant 일반식
- $det(A) = \sum_{j=1}^N (-1)^{I+j} *a_{Ij} *det( A_{IJ}) $
- $A_{IJ}$ 는 A에서 I 행과 J 열을 지운 행렬
- Row Operation을 수행한 두 행렬 사이의 determination은 다음과 같은 관계를 가진다.
- $ R_{i} \rightarrow R_{j}$
- $ R_{i} \rightarrow \alpha R_{i} + \beta R_{j}$
- $det(B) = \alpha * det(A)$
- $det(AB) = det(A) * det(B)$
- Eigen Value Problem
- $A = N * N , X = N*1 $ 행렬일때 $A*X = \lambda *X $를 만족하는 실수 혹은 복소수 $\lambda$ 를 찾는 문제
- $ A*X = \lambda * I * X $ 이므로 $(A-\lambda*I)X = 0 $ 으로 바꿀 수 있다.
- $det(A-\lambda*I) =0 $ 을 만족하는 $\lambda$ 를 찾는 문제
- Linearly Independents Vectors
- $w_{1}, w_{2}, \cdots , w_{p}$ 들이 각각 다른 나머지의 합으로 표현할수 없을 때 Linearly Independent 하다고 표현
- $ c_{1} w_{1} + c_{2} w_{2}+ \cdots + c_{p}w_{p} =0 $ 에서 $ c_{1} = c_{2} = \cdots = c_{p} =0$ 인 답만 unique solution 일 경우 $w_{1}, w_{2}, \cdots , w_{p}$ 는 Lineary Independent 하다
- U의 determinant = U의 대각선 값을 곱한것
- determinant 가 0이아니면 Ux = C 는 하나의 해 (unique solution)을 가진다
- determinant 가 0이면 Ux=C 는 해가 없거나 무한하다.
- Homogeneous System of Linear Algebra
- 상수가 0인 linear algebra , Ax = 0
- 언제나 consitent(해가 있다)
- determinant가 0일경우 언제나 해가 있기때문에 반드시 해가 무한하다.
- N-th demensional Vector(N차 벡터)
- $\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\x_{n} \end{bmatrix} $
- $R^N $ : N차 vector의 집합