AI - 기계학습의 신경망과 SVM

기계학습

신경망

AI에서의 신경망은 인공신경회로망(ANN) 이라고 할 수 있습니다.
인공지능에서는 기호주의와 연결주의로 나뉘게 되는데, 기호주의는 두뇌가 하는 일을 컴퓨터가 할 수 있기 위한 연구, 연결주의는 두뇌가 동작하는 방식을 컴퓨터에서 실현하기 위한 연구입니다. 신경망은 바로 연결주의에 해당합니다.

• 신경회로망: 생물학적 신경계와 같은 방식으로 동작할 수 있도록 단순하지만 적응적인 요소들을 대령으로 병렬 연결한 망들의 계층적 조직

• 신경망: 인간의 두뇌에 대한 모델을 통해 인공지능을 구현하려는 분야

• 신경세포: 수상돌기, 축색돌기, 신경연접
  • 수상돌기: 전기화학적 신호를 받아들이는 부위
  • 축색돌기: 수신한 신호의 값이 특정 값 이상이면 신호를 내보내는 부위
  • 신경연접: 수상돌기와 축색돌기의 연결 부위(신호의 증폭, 감쇄 담당)
• 퍼셉트론: 로젠블랏이 제안한 학습가능한 신경망 모델(OR 연산 수행)
  • 선형 분리 가능 문제, 선형 분리 불가 문제(XOR 문제)
• 다층 퍼셉트론(MLP): 여러 퍼셉트론을 층 구조로 구성한 신경망 모델
  • 학습: 입력과 출력의 오차가 최소가 되도록 가중치 w를 결정
  • 학습 알고리즘: 오차역전파 알고리즘
  • 계단 함수 -> 시그모이드 함수
  • 최대 경사법 사용: 기대 출력과 MLP 출력이 비슷하도록 가중치를 변경
• RBF 망: 어떤 함수를 RBF 함수들의 선형 결합 형태로 근사시키는 모델
  • RBF 함수: 기존 벡터 u와 입력벡터 x의 유사도를 측정하는 함수

SVM(Support Vector Machine)

신경망과 달리 분류 오차를 줄이면서 동시에 여백을 최대로 하는 결정 경계를 찾는 이진 분류기입니다.

• Vladimir Vapnik이 제안

• 여백: 결정 경계와 가장 가까이에 있는 학습 데이터까지의 거리

• 서포트 벡터: 결정 경계로부터 가장 가까이 있는 학습 데이터들

• 초평면: 4차원이상의 공간에서 선형 방정식으로 표현되는 결정 경계
  • 분류를 위한 만족조건

    • (1) 서포트 벡터 x^’에서의 **

      h(x^’)

      =1**

    • (2) 서포트 벡터와의 거리, 즉 여백을 최대로 한다. h(x) = 1
  • h(x)=w^Tx+b=0
• SVM 최적화 문제
  • (1) 제약조건 최적화 - 라그랑주 함수 적용
    • 해에 대한 KKT 조건 – 상보적 여유성
  • (2) w와 b가 없는 쌍대 함수 적용
    • 문제 복잡도: 데이터 개수 N에 관계, 데이터 차원과 무관
    • 쌍대 문제의 최소화 문제 변환, 이차식 계획법 문제
• SVM의 최적화 문제 해결
  • 선형대수학의 quadratic problem solver 라이브러리 이용
    • 최적화 문제의 해인 a1, a2 … an 계산
  • KKT 조건에 의해 a_i≠0이라면 h(x_i)=1