영상의 패치 정합

1. SSD(Sum of Squared Difference)

같은 위치에 있는 픽셀의 차를 구해서 제곱한 값을 다 더해 영역의 유사성 측정을 한다.

유사할 경우 0에 가깝다.

2. SAD(Sum Of Absolute Difference)

같은 위치에 있는 픽셀의 차를 절대값 하고 다 더해 영역의 유사성 측정을 한다.

SSD와 마찬가지로 유사할 경우 0에 가깝다.

3. NCC(Normalized Cross Correlation)

NCC는 SSD와 SAD가 갖는 밝기 차의 문제를 결하기 위해 사용하는 중 하나이다. 

두 영역의 픽셀 평균값과 표준편차를 계산하여 평균 값기가 0, 표준편차는 1이 되도록 정규화한다.

m은 평균 밝기를 나타내며 σ는 표준편차이다.

해리스 코너는 크리스 해리스(Chris Harris)라는 사람이 1988년 제안한 것이다.

해리스 코너 검출기는 미분값에 기반을 둔 검출 방법이다. 코너 응답 함수(CRF-Corner Response Function)을 기반으로

코너를 파악한다. 코너 응답 함수(CRF)는 코너가 얼마나 강한지 판별하는 함수이다.

※ 해리스 코너 검출은 다음 5가지 과정을 거친다.

위 행렬식은 2x2행렬의 고유 벡터(Eigen vector)가 얼마나 서로 수직인 방향으로 큰 값을 갖는지를 측정하는 값이다.

여기서 Ix와 Iy는 각각 영상에서 가로와 세로 방향의 미분값을 나타낸다. 이러한 행렬에서 고유 벡터를 구하면 경계선

방향에 수직인 벡터 두개를 얻을 수 있다. 아래 그림과 같이 두 방향의 벡터를 구할 수 있다.

각각 두 벡터는 수직일 경우와 수직보다 작을 경우, 수직보다 클 경우로 구할 수 있다. 

이때 수직인 경우가 가장 좋은 코너점으로 생각하면 된다. 코너의 벡터는 미분을 이용해 고유벡터를 구하면 된다.

고유 벡터를 구하는 것은 고유값 분해(Eigen Value Decomposition)을 계산해야 하지만 조금 복잡하고 시간이 많이 소요된다.

따라서 해리스 코너 검출기에서는 고유 벡터를 직접 구하지 않고 코너 응답 함수(CRF)를 사용한다.

여기서 det(M)은 행렬식을 뜻하고, Trace(M)은 행렬의 대각합을 뜻한다. K값은 보통 0.04를 사용한다.

위와 같이 모든 점들에 관해 코너 응답함수(CRF)를 구하고, 그 값이 적절한 임계값(Threshold)이상이면 코너로 판별하면 된다.

2차원 공간상의 직선을 표현하는 방법중 가장 쉬운 방법은 y = ax+b이다.

a값이 직선의 기울기, b 값이 y축과 만나는 y절편이다.

직선의 방정식을 이용하면 모든 직선을 실수 a와 b의 조합으로 나타낼 수 있으며, 입력 영상에 나타날 수 있는

직선이 가지는 a, b값의 범위는 매우 많다.

기울기와, y절편값을 조절하면 수많은 직선을 만들 수 있다. 

따라서 직선을 찾기 위해 이 모든 값을 조사하는건 현실적으로 불가능하다.

이 문제를 해결하기 위해 사용하는 방법이 바로 허프 변환(Hough Transform)이다.

좀더 효율적으로 변수를 조합하여 직선을 표현하여 문제를 해결하는 것이다.

허프 변환은 직선 뿐만 아니라 2차원 평면, 원, 3차원 공간평면 등 다양한 도형에 대해 적용이 가능하다.

허프 변환은 아주 신기한 방법이다. 직선의 방정식을 x, y 극좌표계에서 a값(기울기)와 b(y절편)을 아래와 같은

극좌표계로 변형했을때 같은 기울기를 갖는 직선은 한점에서 만난다는 점이다.

따라서 이를 이용하면 직선을 구할 수 있다.

직선을 위 그림과 같이 표현하면 ρ는 원점에서부터 직선 까지의 거리를 나타내며, Θ는 y축과 직선에서 수직으로 그린

선의 각도를 나타낸다. 위 직선의 방정식을 이용하면 유한한 범위의 ρ와 Θ값을 이용하여 평면 위의 직선을 표현할 수 있다.

따라서 기존 직선의 방정식을 위와 같은 직선의 방정식으로 변형하면 한정 범위안의 직선을 찾을 수 있을 것이다.

극좌표계를 사용하면 평면 위의 한점(x,y)을 지나는 모든 직선을 ρ와 Θ의 조합으로 표현할 수 있다.

영상에서 모든 경계선 좌표 (x,y)에 대해 위 작업을 수행하면 많은 수의 ρ와 Θ 조합을 얻을 수 있다.

만약 한 점에서 많은 직선이 교차할 경우 하나의 픽셀 에 많은 점이 교차할 것이다. 

이것을 이용하여 같은 직선상의 좌표를 구할 수 있다.

허프 변환을 구현할 때 각도 Θ값의 범위를 0'~360' 사이가 아닌 0'~180'로 하고, ρ 값이 음수 값을 가질 수 있도록 한다.

Width 고정

Height 고정

OpenCV를 이용하여 엠보싱효과, 수채화 효과, 컬러 스케치 효과를 적용해 보았다.

                                            [그림 1] 기본 이미지

                                        [그림 2] 엠보싱 효과 적용

                                       [그림 3] 수채화 효과 적용

                                   [그림 4] 컬러 스케치 효과 적용

# 코드

Tracking-Learning and Detection(TLD) 논문은 Zdenenk Kalal 이 2010년 작성한 논문이다.

아래 동영상은 Zdenenk kalal 자신이 직접 youtube에 올린 동영상이다.

동영상을 보면 추적 물체가 사라짐, 움직임에도 강건한 추적을 함을 볼 수 있다. 

상당히 인상깊은 동영상이었다.

이 알고리즘은 Predator이라고도 불리며 영화 predator가 스스로 학습하며 성장하는 모습을 

보고 지었는지?도 모르겠다.

해당 알고리즘은 tracker와 detector와 learning의 3단계로 이루어져있다.

   [그림 1] Tracking Learning and Detection(TLD) 블럭 흐름도

간략하게 소개하면, tracker는 object를 매 프레임 추적하고 detector는 tracker가 잘 추적할 수 있도록

detect을 수행하며, 물체의 유사 외형에 대한 데이터 셋을 tracker에 추가한다. learning은 detector의 

에러 확률을 측정해 갱신하는 역활을 한다. 논문에서 제안한 P-N laerning 가 detector를 강건하게 만드는

역할을 한다. 

사람은 각종 배경 여러 물건이 혼합 된 이미지 속에서 사람 얼굴을 쉽게 찾아낸다. 

주변에는 인공지능 까지는 아니더라도 사용자를 알아보는 사례가 많다. 인터넷 쇼핑 사이트에서 자신이 검색한 물건

위주로 정렬해 다시 접속시 보여주는 기능도 한가지 예가 될것이다. 컴퓨터가 얼굴을 인식하도록 하는 방법은 없을까? 

다행이도 OpenCV 라이브러리에서 SDK형태로 제공해 쉽게 테스트 해볼수 있다.

다음은 OpenCV에서 제공하는 얼굴 인식 코드 이다.

                                              [그림 1] 얼굴 검출

       [그림 2] 얼굴 검출 & 눈 검출

결과를 보면 얼굴과 눈 검출이 매우 잘됨을 확인할 수 있었다. 

소스를 보면 매우 간단한 구조이다. 이미지와 cascade파일을 불러오고 검출 함수를 통해 출력하는 구조이다.

함수 하나만으로 저렇게 잘 동작한다니 과연 저 함수는 어떻게 동작하는 것일까?

함수는 어떤 파일을 불러와 동작하는것을 확인할 수 있다. 불러온 파일에 따라 얼굴이 검출되기도 하고,

눈이 검출되기도 했다. 불러온 파일을 보니 haarcascade_xxx 가 붙어 있다. 뒤에 오는것에 따라 

얼굴과 눈이 검출됬다. 과연 haarcascade가 무엇일까? 네이버 사전을 검색해보면 cascade는 

작은폭포? 풍성하게 늘어진것 같은 뜻을 지닌다. 그럼 Haar는 무엇일까?

2001년 두 학자(Viola, Jones)가  "Rapid Object Detection using a Boosted Cascade of Simple Features" 

논문에서 제안한 방법이다. 이들은 유사 하르 특징(Haar like feature)이라는 것에 기반한  알고리즘으로 구성

되어 있었다. 

Haar 특징에 대해 인터넷에 검색해보면 아래와 같은 사진을 볼 수 있다.

                                      [그림 3] Haar like feature

저 사각형은 무엇인가? 뭔지 몰라서 한참을 들여다 봤다. 알고보니 사람의 얼굴에는 뭔가 특별한 패턴이 있는것을

알수 있다. 두 눈은 명암이 어둡고 코는 명암이 밝다. 이런 명암을 이용해 패턴을 구하는 것이다. 

이것들을 Haar like feature라고 한다. 사람의 얼굴 위에 흑백의 사각형을 겹쳐 놓은 다음 밝은 영역에 속한 픽셀

값들의 평균에서 어두운 영역에 속한 픽셀값들의 평균의 차이를 구한다. 그 차이가 문턱값(threshold)를 넘으면

사람 얼굴에 대한 유사 하르 특징이 있는것이었다. 사람의 얼굴은 다양하지만 생김새의 패턴은 비슷하므로 

임의의 얼굴 위에서의 특정 위치, 특정 분포에 따른 명암의 차이는 거의 없을것이라고 판단한 것이다. 

              [그림 4] haarcascade_frontalface.xml 일부

위 그림은 haarcascade_frontalface.xml 파일의 일부이다. 태그 <size> 20 20은 얼굴의 크기이고 그 안의 영역에

[그림 3]의 사각형이 돌아다니면서 명암의 평균 차를 측정하는 것이었다. [그림 4]의 rect값인 3 7 14 4 -1은 순서

대로 x좌표, y좌표, 폭(width), 높이(height), 이득(gain)이다. 그리고 마지막 값은 부호를 나타낸다. -1이면 픽셀값의

평균을 빼라는 뜻이고, 2는 2를 곱한후 더하란 뜻이된다. <threshold>는 임계값(문턱치)가 될것이다.

랜덤 트리(random tree)

랜덤 트리는 서로 독립적이게 설계된다. 이진 트리를 보면 하나의 부모 노드로 부터 좌측 노드, 우측 노드으로 나뉜다.

                     [그림 1] 이진 트리

부모 노드는 질문을 갖고 있으며 질문의 결과에 따라 왼쪽, 오른쪽으로 분기 한다. 랜덤 트리는 트리 분류기

(tree classifier)를 사용한다. 트리 분류기의 노드는 질문을 갖고 있다. 이진 트리와 마찬가지로 특징 하나를 임계값과

비교하여 어느 쪽으로 진행할지 결정한다. 잎노드에 도착하면 부류를 결정하고 멈춘다.

                                        [그림 2] 트리 분류기 동작 방식 예

트리 분류기를 학습 시키려면 노드의 질문 Q를 만드는 방법과 잎 노드에 부류를 할당하는 방법을 결정해야 

한다. 트리 노드의 질문 Q1은 X를 두 집합Xleft, Xright로 나눈다. 이때 Xleft와 Xright는 순도가 높을수록 좋다.

(같은 부류의 데이터일수록 좋다) 예를 들어 두 부류(w1, w2)인 경우 Xleft에 모두 w1, Xright에 모두 w2로 분기되면

가장 이상적이다. 하지만 현실적으로 이런 상황은 거의 불가능 할 것이다. 따라서 순도를 최대로 하는 최적의 특징

과 분할점(임계값)을 찾아야 한다. 찾는 방법은 결정트리분기 를 참조 하면 된다.

이렇게 만든 질문을 루트 노드에 부여한 후 Xleft와 Xright를 가지고 각각 왼쪽과 오른쪽에서 같은 과정을 재귀적으로 

반복하면 된다. 이 분할을 언제까지 할지를 선택해야 하는데 순도 100%가 될되까지 분할하면 인식률은 좋으나 학습 

집합이 과적합(overfitting)되어 일반화 능력이 떨어지는 결과가 생긴다. 따라서 적절한 조건을 설정해 두고, 조건을 

만족하는 노드에서 멈추게 해야 한다. 멈춘 노드가 잎 노드(left node)가 된다. 

참조 : 컴퓨터비전, 패턴인식(오일석)

IplImage 생성

이미지 복사하기

컬러 이미지 각 채널별 분리 및 결합

IplImage 이미지 데이터 0초기화(검정 이미지)

IplImage 해제

설정한 ROI 해제하기

이미지 불러오기, 저장하기

이미지 위 아래나 좌우 뒤집기, 반전

카메라로 부터 입력받기

윈도우 생성 및 파괴

canny edge detect 사용하기

Harris edge detector 사용하기

Smoothing 연산

HLS 이미지로 변환하기

히스토그램 평활화 (histogram equalization)

이미지 회전시키기

CvMat *gray_1 = NULL;

으로 선언한 CvMat 구조체가 2.3 버전부터 inputArray으로 변경되었다.

간단하게 (Cv::Mat)만 붙여주면 해결할 수 있다.