[Machine Learning] 신경망

신경망

• 인간 두뇌에 대한 계산적 모델을 통해 인공지능을 구현하려는 분야
• 신경세포

퍼셉트론

• _로젠블랏_이 제안한 학습 가능한 신경망 모델

• OR 연산을 수행하는 퍼셉트론

• 선형 분리 가능 문제

• 선형 분리불가 문제 (XOR 문제)

다층 퍼셉트론 (Multi Layer Perceptron, MLP)

• 여러 개의 퍼셉트론을 층 구조로 구성한 신경망 모델

다층 퍼셉트론의 동작

다층 퍼셉트론의 학습

입력-출력 (x, y)의 학습 데이터에 대해 출력값과 f(x)의 차이, 오차(error)가 최소가 되도록 가중치 w를 결정하는 것

• 학습 가능한 다층 퍼셉트론
  • 학습 알고리즘: 오차(오류) 역전파 알고리즘
  • 계단모양 전달 함수를 미분가능한 시그모이드 함수로 대체

• 학습 목표

  • 기대 출력과 MLP 출력이 최대한 비슷해지도록 가중치를 변경하는 것

    

  • 경사 하강법

    

  • 오차 역전파 알고리즘

다중 분류

소프트맥스 층

• 최종 출력을 분류 확률로 변환하는 층

최대 가능도 추정

• 데이터의 가능도를 최대로 하는 파라미터를 추정하는 것

교차 엔트로피

• 오차함수 E(w): 음의 로그 가능도로 정의

RBF 망

RBF 함수

• 기준 벡터와 입력 벡터 사이의 유사도를 측정하는 함수

RBF 망

• 어떤 함수 f_k(x)를 다음과 같이 RBF 함수들의 선형 결합 형태로 근사시키는 모델

RBF 망의 학습

• 오차 함수 E

  

• 경사 하강법 사용

  • 전체 데이터로부터 대표값을 추출해 기준 벡터 Mu와 파라미터 Beta 계산
  • 가중치 w를 경사 하강법을 이용해 갱신

• 부류 별 군집화 결과를 사용한 기준 벡터 Mu와 파라미터 Beta 초기화

  • 군집 중심: 기준(평균) 벡터 Mu
  • 분산의 역수: Beta

  

RBF 망을 이용한 분류의 예