통계학에서, Multinomial Logistic Regression(다항 기호 논리학 회귀)는 분류하는 방법중 하나로써, 다차원 

문제를 논리적으로 일반화 시킨다. 

독립 변수들의 집합이 주어졌을때, 절대적 분산, 종속 변수의 다른 결과를 예측하는데 사용하는 모델이다.

내리막 경사법 이란?

현재 위치에서 가장 경사가 급한 곳을 찾고, 그 방향으로 이동하여 새로운 위치를 잡는다. 이런 과정을 \

반복하여 가장 낮은 지점(최저점)을 찾아가는 방법이다. 반대 예의 경우를 오르막 경사법 이라고 한다.

[그림 1] 최적해를 찾기 위한 반복 알고리즘 순서도

ρ는 학습률(learning rate)이라고 부르며 ρ의 값에 따라 이동하는 크기 변화가 달라진다.

          [그림 2] 내리막 경사법, 오르막 경사법

베이즈 정리(베이지언 확률) - Bayesian theorem

사건 A1, A2, A3, ..., An이 표본공간 Ω를 이룰 때, 사건 Ai가 서로 배반이고

※ 배반 : 한쪽이 일어날 경우 다른 한쪽이 일어나지 않는 경우를 말한다.

             (A와 B가 일어날수 있을때, 만약 A가 일어나면 B가 일어나지 않는 것)

B를 임의의 사건 사건이라 하면,

이다.  이때 An ∩ B는 서로 배반이다. 따라서 다음이 성립한다.

확률의 곱셈정리에 의하여 [식 2]는 다음과 같이 표현이 가능하다.

또한, 임의의 사건 Ai에 대한 사건 B의 조건부 확률 P(B|Ai)의 정의로 부터

를 얻을 수 있다.

[식3]과 [식4]를 이용해서 베이즈 정리(Bayes theorem)를 만들 수 있다.

예) 다음 그림과 같이 4개의 상자에 각각 빨간 공과 파란 공이 들어있다. 다음과 같은 방식으로 상자들 중에서

하나를 선택하여 임의로 공을 꺼낼 때, 꺼낸 공이 빨간 공일 확률을 구하라.

(a) 각각의 상자를 선택할 기회가 모두 동등한 경우

     각각의 상자를 선택할 확률은 모두 동등하므로 1/4이다. 이때 빨간 공을 꺼낸 사건을 E, 각각의 상자를 선택할

     사건을 A, B, C, D라 하면, 전확률 공식에 의하여 빨간공을 꺼낼 확률은 다음과 같다.

(b) 동전을 세 번 던져서 앞면이 3번 나오면 상자 A, 앞면이 2번 나오면 상자 B, 앞면이 1번 나오면 상자 C를 선택,

     앞면이 나오지 않으면 상자 D를 선택할 경우 

분산이란 변수의 흩어진 정도를 계산하는 지표이다.

분산이란?

데이터 혹은 원소 들이 얼마나 흩어져있느지를 나타나는 것이다. 

분산이 크다는 것은 데이터들이 많이 퍼져있다는 것을 의미하며, 분산이 작다는 것은 데이터들이 평균에 근접해

있다는 것을 의미한다.

표준편차란?

분산의 음이 아닌 제곱근을 의미한다.(분산에 루트 씌운것)

분산을 구하는 방법은 다음과 같다.

편차는 평균과의 차이를 의미한다.

만약 다음과 같은 데이터 집합이 있다고 가정할때,

데이터 집합의 평균을 구하면

가 나온다.

편차(평균과의 차이)를 구하게 되면

이다.

따라서, 편차의 제곱을 하면

이 나오고, 분산을 구하면 

이다. 따라서 분산의 양의 제곱근이 표준편차 이므로 표준편차는 

이다.

고유값(eigenvalue)과 고유벡터(eigenvector)의 기본 개념을 정리한다.

행렬의 고유벡터 구하기

행렬의 고유값 구하기

Newton's  method

수치해석부분에서 Newton's method(혹은 Newton-Raphson Method)라고 알려저 있는 방법은

Isaac Newton과 Joseph Raphson이 발견한 함수의 근사값이나 실제값을 찾는 가장 효과적인 방법이다.

찾고자 하는 함수 식을 f(x)라고 할때, 이 함수의 미분f'(x)를 구해 처음 근사값 x(0) 으로 시작하여

좀더 나은 x(1)을 찾는 방식이다. 아래과 같은 수식에 대입하여

x1 값을 얻고, 이러한 과정을 반복적으로 수행(n번째 x를 넣어 n+1을 찾음)하여

근사값을 구하는 방법이다.

식을 다시 정리하면 다음과 같다.

출처 : http://en.wikipedia.org/wiki/Newton%27s_method

직교 좌표계에서 각 꼭지점의 좌표가 그 내부를 반시계방향으로 도는 순서대로 (x1, y1), (x2, y2), ..., (xn, yn)로 주어져 있는 단순한 다각형의 넓이 A는 다음과 같이 계산할수 있습니다.

이 공식은 1769년 마이스터가, 그리고 1795년 가우스가 사용하였다고 한다. 이 공식은 다각형을 삼각형들로 나누어 생각함으로써 증명할수 있습니다.

그러면 이 공식을 참조해 사각형의 경우 세 개의 꼭지점을 알때 나머지 한점을 구하는 알고리즘을 계산해 봅시다.

벡터의 내적을 이용하여 좌표평면에서 사각형의 넓이 최대값을 구합니다.

☞참고

각 변의 길이가 s인 정 n각형의 넓이는

로 구할수 있습니다.

사인법칙에 대해 알아봅시다.

위키피디아를 보면 사인법칙은(law of sines)은 평면상의 일반적인 삼각형에서 성립하는 삼각형의 세 각의 사인함수와 변의 관계에 대한 법칙이라고 나와있고, 삼각형 ABC에서 각 A, B, C에 마주보는 변의 길이를 각각 a, b, c 라고 하면, 다음 식이 성립한다고 적혀 있습니다.

이 공식을 이용하면 두 각의 크기와 한변의 길이를 알고 있을때 다른 두 변의 길이를 구할 수 있습니다.

식을 다르게 표현하면

▶삼각형의 변의 길이는 대각선의 sin값에 비례 한다는 뜻입니다.

1) 그림에서 ∠A = ∠A'

2) 직각삼각형 A'BC에서 sinA' = a/A'B

3) A'B = 2R이므로 sinA' = a/2R

∴ sinA = a/2R

극대와 극소를 판정하고 극대값,극소값과 안장점을 구하여라

 인 점은 극점입니다. 극점은 극대, 극소, 안장점(saddle point) 중에 하나입니다.

그 점에서 Hessian이 positive definite 이면 극소, negative definite 이면 극대, semi-definite 이거나 indefinite이면 saddle point입니다.

위 식을 풀면 극점은

(0,0), (2/9, 0), (4/23, 6/23)

Hessian matrix는

(1) (0,0)에서 H는

H = [-2 0; 0 0 ]

eigenvalue가 -2, 0 이므로 negative-semidefinite --> saddle point

(2) (2/9,0)에서 H는

H = [2 0; 0 -4/3 ]

eigenvalue가 2, -4/3 이므로 inidefinite --> saddle point

(3) (4/23, 6/23) 에서 H는

H =

1.1304 -1.5652
-1.5652 3.6522

eigenvalue가

eig(H)

ans =

0.381404464117179
4.401204231534994

둘 다 양수이므로 극소점입니다.