[인공지능] Connectionist AI

Connectionist AI

연결주의 인공지능

 

[ 데이터와 에러, 그리고 학습 ]

  데이터(Data) : 학습을 위한 자료.

    · Ground-Truth(Target) Data : 유의미하고 올바른 Data. 학습을 할 때 대상의 기준이 되는 Data.

    · Actual Data : 실제 계산된 Data.

  에러(Error) : 올바르지 않은 값이 나왔을 때, 그 수치를 이야기한다. Target - Actual 값을 Error라 한다.

  학습(Learning) : 연속된 계산을 통해 Error를 최소화하도록 조정해나가는 과정을 말한다.

 

[ Connectionist AI ]

  Connectionist AI

    : 신경망을 기반으로 하는 인공지능을 말한다. 머신 러닝과 같이 신경망으로 구성된 AI를 말한다.

    : 각 간선마다 가중치(Weight)가 지정되어 있으며, 레이어 전체가 구분자가 된다.

신경망(Neural Network)

  Deep Learning

    : 머신 러닝의 일종으로, 신경망의 Hidden Layer가 다수의 Layer로 구성된 경우의 학습법을 말한다.

    · 딥러닝의 동작 과정

      1. 순전파(Forward Propagation)

        : Input Layer에서 데이터를 입력받아 Output Layer까지 행렬 연산을 통해 결과값(Actual)을 도출하는 과정.

        : 각 노드의 값에 가중치를 곱하여 다음 노드에 전해준다.

            ( 0.9 * 0.9 + 0.1 * 0.3 + 0.8 * 0.4 = 1.16 )

        : 이후 노드에서 값이 나올 때 활성화 함수를 적용시켜 값을 변화시켜 내보내준다.

            ( Sigmoid 함수 적용 : 1 / (1 + e^(-1.16)) ≒ 0.761 )

Forward Propagation

      2. 역전파(Back Propagation)

        : 나온 Output(Actual) 값으로 Error를 계산 후, Error가 더 적게 나오게 하기 위해 Error값을 역전파 시켜준다.

        : 역전파는 가중치 행렬의 전치행렬과 Error를 곱연산해주면 된다.

 

      3. 경사 하강법(Gradient Descent)

        : Target 값과 Actual 값의 차이를 최소화하기 위한 파라미터(가중치)를 찾기 위한 알고리즘.

        : 하강법을 진행하는 데 있어 학습률(Learning Rate)을 지정하게 되는데, 이를 적절하게 지정하는 것이 중요.

        : 경사 하강법의 결과로 가중치를 조정하게 된다.

            1) Learning Rate를 너무 작게 할 경우 : 학습을 위해 필요한 연산 횟수가 늘어나게 된다.

Learning Rate : Too low.

            2) Learning Rate를 너무 크게 할 경우 : 손실 함수(Loss Function)가 더 큰 쪽으로 이동하게 된다.

Learning Rate : Too High.