머신러닝 3 (수학)

목적함수에서 MSE더해서 제어를 해준다. 

암튼 수학을 할 줄알아야지 아니면 그냥 베껴쓰기만 할수 있음.

 

 

샘플을 특징 벡터로(feature vector) 표현

여러개의 벡터 -> 행렬

훈련집합을 담은 행렬을 설계행렬이라 부름

행은 feature 열은 샘플의 개수

하나의 트레이닝 셋을 하나의 매트릭스로 표현할 수 있다.

 

 

텐서

3차원 이상의 구조를 가진 숫자 배열

1차는 벡터 2차는 행렬 3차원 이상은 텐서

ex) 500 x 500 영상인 경우  RGB 3 x 500 x 500  tensor로 표현할 수 있다.

 

 

 

놈(norm)과 유사도

유사도 diffrence distance 

어떤 feature를 뽑았을 때 이게 남자의 특징에 가깝냐 여자의 특징에 가깝냐로 분류할 수 있다(유사도)

벡터의 p차 놈(Lp norm)

2차 놈이면 원점에서의 거리, 1차 놈이면 각 엘리먼트들의 절대값 합

무한대 놈은 엘리먼트의 가장 큰 값을 절대값으로 나온다( 작은 엘리먼트들은 무한대로가면 무시해도 된다)

0차 놈은 0이아닌 element의 개수 이건 나중에 추가 보충함

 

행렬의 프로베니우스 놈(Frobenius norm)

행렬의 매트릭스에서만 정의된 놈이다

각 엘리먼트를 제곱해서 더하는거라 엘리먼트와 비례한다.

 

그래서 놈이 왜 필요하고 어따쓰냐?

1. 규제 할 때 사용한다. 가중치처럼

2. 목적함수로 사용. ex) d = y - y(hat)

 

 

유사도와 거리

벡터를 기하학적으로 해석

벡터들간에 유사도를 비교하는 가장 쉬운 방법은

 

 

퍼셉트론(Perceptron)

x와 w를 곱한 뒤 모두 더해서 그 값이 T보다 크면 1 T보다 작으면 -1를 부여한다. 일종의 이진 분류기

 

w랑 x 내적하고 활성함수 타우에 넣는다.

 

위에거는 3차원

 

4차원 이상인 경우 decision hyperplane

 

퍼셉트론의 해석

 

 

 

출력 예측 -> 분류

w 예측 -> 학습

 

요약

 

설계행렬이란? 

훈련집합을 담은 행렬

행은 샘플의 index  열은 feature에 대한 index

 

텐서

3차원 이상의 데이터 구조

 

코사인 유사도

두 벡터의 크기를 무시하고(정규화된 벡터) 각도를 의미. 각도가 작을수록 높은값 90도면 0

 

Lp노름이란 

distance 특히 p가 2일때는 유클리드 거리, p를 바꾸면서 다양한 distance 표현 가능

 

결정평면, 결정초평면이란

결정평면은 두개의 부분공간을 나누는 평면

 

출력이 여러개인 퍼셉트론의 분류 방법은?

 

x는 w와 유사할수록 높은 값을 출력한다.

즉 퍼셉트론은 내부적으로 내적을 통해 x와 w를 유사도를 분류하는 방법.

 

 

 

 

 

 

벡터공간

기저 벡터들의 선형결합으로 이뤄진 공간

 

고유벡터의 기하학적 의미는?

Ax = ux 자기자신 스칼라배

 

행렬분해의 응용? 어따쓰냐?

특징 차원공간을 줄일 수 있다. 차원을 줄일 때 쓴다. 특징간에 관련성 해석 가능. 어떤 특징이 좋고 나쁘냐

 

확률의 곱규칙?

x y 가 동시에 일어날 확률

 

확률의 합규칙?

x y가 

 

베이즈정리 이용해서 분류문제 쓰면

y = argmax(p(y|x))

 

사후확률 우도 사전 확률의 의미?

이미 관측된 값 x가 나오기위한 y를 예측?

 

최대 우도 대신 로그우도 사용하는 이유?

수치문제를 피하기 위해, 곱 -> 합

 

공분산행렬?

각 특징의 분산 + 다른 특징간의 상관관계 파악 가능 (양,음 상관관계)

 

9/29 01:00

학습시 독립변수와 종속변수는?

 

경사하강 원리?

gradient의 반대 방향

 

배치와 스토케스틱 차이는?

모든 샘플에 대해 학습

랜덤?

 

목적함수의 3가지 조건