STUDY/인공지능
Update Log | 22.11.28 First Upload RNN Privew 시간성 데이터 (시계열 데이터) 시간에 따라서 변화하며, 순서가 존재한다. 순차 데이터 특징이 순서를 가지는 데이터. 동적이면서, 가변적인 길이를 가진다. Ex. 심전도 신호, 주식시세, 음성신호, 문장, 유전자열 순환신경망과 LSTM 순환신경망 시간적인 정보를 이용해서 순차데이터를 처리하기 위한 학습모델 LSTM 매우 긴 순차 데이터 (시간적 거리가 먼 데이터) 를 처리하는데 사용 LSTM은 장기 의존성을 잘 다루기 때문이다. 순차데이터 응용분야 심전도 신호를 분석하여 심장 이상의 유무를 판정 주식시세를 분석하여 사고파는 시점을 결정 음성 인식을 통한 지능적인 인터페이스를 구축 기계 번역기 또는 자동 응답 장치를 제작 유..
Update Log | 22.11.28 First Upload DMLP 와 CNN의 비교 DMLP 깊은 다층 퍼셉트론 완전연결구조 : 높은 복잡도 모든 node들이 연결, 각 연결에는 파라미터 존재 학습이 매우느리다. 과잉적합 가능성이 있다. 어떤 node 가 중요한지 모른다. 영상에서는 특정 pixel 근처에 어떤 정보가 있는지 중요하다. CNN 컨볼루션 연산을 이용한 부분연결 (희소 연결) 복잡도가 매우 작다. 격자 구조 (영상, 음성)을 갖는 데이터에 적합하다. 수용장 인간시각 (뉴런) 과 유사하다. 가변크기의 입력 처리 가능. 컨볼루션 층 컨볼루션 연산 컨볼루션 해당하는 요소끼리 곱하고, 결과를 모두 더하는 선형 연산 패딩(Padding) 가장자리에서 입력이 줄어드는 상황을 방지 여상 상에서 si..
Update Log | 22.10.06 First Upload | 22.10.11 Second Upload 지난 포스팅에서.. 그동안 배워왔던 퍼셉트론의 개념을 실습으로 푸는 시간을 가졌다. 오늘부터는 딥러닝 주요 최적화 방법을 배우겠다. 평균 제곱 오차 다시 생각하기 일단 시험을 예시로 들어보자 시험에서는 틀린 만큼 합당한 벌점을 받는 것이 중요하다. 그래야 다음 시험에서 틀리는 개수를 줄일 가능성이 크기 때문이다. 만약 틀린 개수에 상관없이 비슷한 벌점을 받는다면 나태해져 성적을 올리는 데 지연이 발생할 것이다. 이러한 원리를 기계학습에도 적용하자. 평균제곱오차 목적함수 일단 분류 문제를 푼다고 가정해보자 다음과 같이 오차를 정의하면 오차가 클수록 e값이 크므로 이 값은 벌점으로서는 훌륭하다. 즉 손..
Update Log | 22.10.05 First Update 이번 포스팅에서... 그동안 배워왔던 개념들을 colab을 통해서 pythorch 를 이용한 실습을 할 예정이다. 선형회귀 (Linear Regression) import torch import numpy as np inputs = np.array([[2],[4],[6],[8]], dtype='float32') #input 값 targets = np.array([3,4,5,6], dtype='float32') #output 값 inputs = torch.from_numpy(inputs) targets = torch.from_numpy(targets) #텐서로 바꿔서 활용하는 부분 from torch.utils.data import Tensor..
Update Log | 22.10.12 First Update 딥러닝 다층 퍼셉트론에 은닉층을 여러개 추가하면 깊은 신경망이 된다. 딥러닝은 깊은 신경망을 학습시키는 알고리즘이다. 딥러닝은 새로운 응용을 창출하고, 인공지능 제품의 성능을 획기적으로 향상시켰다. 현대의 기계학습을 주도하였다. 딥러닝의 등장 1980년대에 이미 깊은 신경망의 아이디어는 등장했다. 하지만 이는 실현이 불가능했다. 깊은 신경망은 학습이 안되기 때문이다. 그래디언트의 소멸 문제. 작은 훈련집합 과다한 계산시간 (값비싼 슈퍼컴퓨터) 이러한 실망스러운 상황에서도 꾸준한 연구를 했다. 학습률에 따른 성능 변화 양상을 보였다. 모멘텀의 변화를 주었다. 은닉 노드 수에 따른 성능 변화 양상을 보였다. 데이터 전처리의 영향을 받았다. 활성 ..
Update Log | 22.09.27 First Upload | 22.09.29 Second Upload | 22.10.06 Third Upload | 22.10.12 네번째 재업로드... 신경망의 기초 신경망 기계학습 역사에서 가장 오래된 학습 모델이다. 현재는 가장 다양한 형태를 가진다. 1950년대의 퍼셉트론은 1980년대에 다층 퍼셉트론으로 변화하였다. 그리고 이는 깊은 인공신경망으로 변화하였다. 사람의 뉴런 두뇌의 가장 작은 정보처리 단위이다. 세포체 (Cell body): 간단한 연산 수상돌기 (Dendrite): 신호 수신 축삭 (Axon): 처리 결과를 전송. 뉴런을 모방한 것이 퍼셉트론이다. 신경망의 종류 신경망에는 아주 다양한 모델이 존재한다. 비교가 되는 모델들을 통해서 알아보자. ..
Update Log | 22.09.22 First Update | 22.10.12 Second Updatee 이번 포스트에서 알아볼 내용은 최적화 이론이다. 최적화 이론이라는 것은 무엇일까? 간단하게 말하면 최적의 선택을 하는 것이다. 이때 무엇이 "최적" 일까? 모든 가능해 집합에서의 x 중 함수 f(x)를 최소화(혹은 최대화) 하는 x를 찾는 것을 말한다. 아래의 식을 보고 이제 최적화 문제의 수학적 표현을 알아보자. 위 식에 있는 표현들을 좀더 꼼꼼히 알아보자. 순수 수학 최적화와 기계 학습 최적화의 차이 순수수학의 최적화 순수수학에서의 최적화는 함수에서 최저점, 최고점을 찾는 방법을 말한다. 기계학습의 최적화 기계 학습의 최적화는 단지 훈련 집합이 주어지고, 훈련 집합에 따라 정해지는 목적 함수의..
평균 μμ와 분산 σ2σ2으로 정의다차원 가우시안 분포 ; 평균벡터 μμ와 공분산행렬 ΣΣ로 정의ㅇUpdate Log | 22.09.20 First Update | 22.10.12 Second Update 이번 시간에는 기계학습에서 사용되는 확률과 통계에 대해서 알아보겠다. 기계학습이 처리할 데이터는 불확실한 세상에서 발생하므로, 불확실성을 다루는 확률과 통계를 잘 활용해야 한다. 확률 기초 확률변수 ( Random Variable) 윷놀이에 대해서 생각해보자 이 윷놀이에서 나올 수 있는 5가지의 경우중에서 한 값을 가지는 확률변수를 x라고 하자 이때 x의 정의역은 {도, 개, 걸, 윷 모} 이다. 확률분포 위의 나왔던 윷놀이의 예시를 확률분포로 표현해보자. 이때 우리가 이산인 경우와 연속인 경우로 나눌..