#3. 기계학습 수학 1
2022. 11. 1. 15:40
Update Log
| 22.09.16. First Upload
| 22.10.11. Second Upload
기계학습에서 수학의 역할
- 이번 시간에는 기계학습에서 사용되는 수학의 역할을 알아볼 것이다.
- 수학은 목적함수(손실함수)를 정의하고 목적함수가 최저가 되는 점을 찾아주는 '최적화 이론'을 제공한다.
- 최적화 이론에 규제, 모멘텀, 학습률, 멈춤 조건과 같은 제어를 추가해서 알고리즘을 구축한다.
- 이때 사람은 알고리즘을 설계하고 데이터를 수집한다.
벡터
- 우리는 샘플 (sample) 들을 이제부터 특징벡터(Feature Vector)로 표현할 것이다.
- 예)
- 아이리스 데이터셋에서 꽃받침의 길이, 꽃받침의 너비, 꽃잎의 길이, 꽃잎의 너비라는 4개의 특징이 있다.
- 위의 그림에서는 ( 5.1, 3.5, 1.4, 0.2) 인 샘플을 나타낸다.
- 여러 가지 특징 벡터가 나올 때는 다음과 같이 x1, x2 ... 처럼 첨자로 구분할 수 있다.
- 이때 벡터를 표현할때 소문자 x를 가장 많이 사용하며, 볼드체를 사용한다.
행렬
- 행렬은 다음과 같이 행과 열로 이루어진 여러 개의 벡터를 담은 표현이라고 할 수 있다.
- 훈련 집합 (Training set)을 담은 행렬을 설계 행렬 (Design Matrix)이라고 부른다.
- 간단하지만 위의 그림과 같이 가로가 행,그리고 세로가 열이라고 생각하면 된다.
- 다음 그림은 아이리스 데이터에 있는 150개의 샘플을 설계 행렬 X로 표현한 것이다.
- 이때 행렬은 대문자 X로 표시하고, 볼드체로 쓴다.
전치행렬
- 전치 행렬은 대각선을 기준으로 싹 다 대칭시킨다고 생각하면 된다.
- 열이 행이된다고 생각하면 된다.
- A 행렬이 있다고 했을 때 a11, a22, a33... 와 같이 대각선에 있는 원소들을 기준으로 대칭을 시켜서 반대로 만들면 된다.
- 굳이 정사각 행렬이 아니어도 되며, 가상의 대각선이 있다고 생각하면 편하다.
특수한 행렬
- 정사각 행렬, 정방행렬 (square matirx)
- 행개수 == 열개수인 행렬
- 대각 행렬 (diagonal matrix)
- 대각요소를 제외하고 모두 0인 행렬
- 단위행렬 (identity matrix)
- 대각요소값이 모두 1이고 나머지가 0인 행렬
- 대칭 행렬 (symmetric matrix)
- 대각요소 기준으로 서로 대칭인 값을 가지는 행렬
다항식의 행렬적 표현
다음과 같이 행렬을 이용하면 수학을 간결하게 표현할 수 있다.
행렬 연산
행렬 연산에서 두 가지를 알아보자
행렬 곱셈과 벡터의 내적에 대해서 알아보자.
행렬 곱셈 (Matrix Product, Dot Product)
- 행렬의 곱셈은 행렬의 내적이다.
- A의 열수는 = B의 행수여야 곱이 가능하다.
- 행렬의 곱셈에서의 특징으로 2가지가 있다.
- 교환 법칙 성립하지 않는다. 즉 AB!= BA
- 분배 법칙과 결합 법칙은 성립한다. A(B+C) = AB + AC이고 A(BC) = (AB) C이다.
벡터의 내적
- 벡터를 내적 했을 때 첫 번째 벡터를 전치 행렬로 바꾸고 두 벡터를 곱하면 된다.
텐서(Tensor)
- 3차원 이상의 구조를 가진 숫자 배열
- 0차 : 수(스칼라)
- 1차 : 벡터
- 2차 : 행렬
- 고차원 : 예) 3차원 구조의 RGB 칼라영상
놈과 유사도
벡터의 P차놈
- 다음과 같이 p차 놈을 구하는 이유는 벡터와 행렬의 크기를 놈으로 구하는 것이다.
- 예시를 들어서 이해하는 편이 훨씬 빠를 것이다.
행렬의 프로베니우스 놈(Frobenius Norm)
- 행렬의 프로베니우스 놈이다.
- 구하는 방법을 알아놓고, 그리고 예시를 통해서 한번 구해보자.
유사도와 거리
- 벡터를 기하학적으로 해석한다고 생각하면 된다.
- 이 이야기는 우리가 그동안 배웠던 개념에 따라서 코사인 유사도를 생각해 볼 수도 있다.
선형 결합과 벡터 공간
- 벡터
- 공간상의 한 점으로 화살표 끝이 벡터의 좌표에 해당한다.
- 선형 결합이 만드는 벡터 공간
- 기저 벡터 a와 b의 선형 결합으로 이루어 진다고 생각하면 된다.
- 다음과 같이 벡터의 연산을 그래프 적으로 해석하면 다음과 같고
- 선형결합으로 만들어지는 공간을 벡터 공간이라고 부른다.
역행렬
- 행렬의 연산에서 다루는 것들 중 자주 쓰이는 것이 역행렬이다.
- 일단 역행렬의 원리부터 알아보자.
- 다음과 같이 원래 행렬 A와 역행렬 A^-1을 곱했을 때 단위행렬이 나오는 것을 우리는 역행렬이라고 부르기로 했다.
- 예시를 생각하면서 공부를 하면 훨씬 빠를 수도 있을 것이다.
'STUDY > 인공지능' 카테고리의 다른 글
| #6. 다층 퍼셉트론 및 딥러닝 기초 (0) | 2022.11.01 |
|---|---|
| #5. 최적화 이론 (1) | 2022.11.01 |
| #4. 기계학습 수학2 (1) | 2022.11.01 |
| #2. 기계학습 복습 2 (1) | 2022.11.01 |
| #1. 기계학습 복습 1 (1) | 2022.11.01 |
