KNN (K-Nearest Neighbor)

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-6-K-%EC%B5%9C%EA%B7%BC%EC%A0%91%EC%9D%B4%EC%9B%83KNN?category=1057680 

머신러닝 - 6. K-최근접 이웃(KNN)

위 블로그를 필사하며 공부

 

* 모든 텍스트와 이미지의 출처는 위 블로그입니다.

 

---

 

 

 

KNN(K-Nearest Neighbor)은 지도학습 알고리즘 중 하나

- 어떤 데이터가 주어지면 그 주변(이웃)의 데이터를 살펴본 뒤 더 많은 데이터가 포함되어 있는 범주로 분류하는 방식

 

출처: towardsdatascience

 

새로운 데이터 (빨간 점)이 주어졌을 때, 이를 Class A로 분류할지, Class B로 분류할지를 판단하는 문제

k=3일 때, 즉 안 쪽 원을 살펴보자.

- k=3이라는 뜻은 가장 가까운 주변의 3개 데이터를 본 뒤, 3개의 주변 데이터가 더 많이 포함되어 있는 범주로 분류하겠다는 뜻이다.

- 빨간 점 주변에 노란색 점(Class A) 1개와 보라색 점(Class B) 2개가 있다.

- 따라서 k=3일 때는 해당 데이터가 Class B(보라색 점) 으로 분류된다.

 

k=6일 때, 즉 바깥쪽 원을 보자.

- 원 안에 노란색 점 4개와 보라색 점 2개가 있다. -> k=6일 때는 노란색 점으로 ㅂ누류

 

KNN은 K를 어떻게 정하느냐에 따라 결과 값이 바뀔 수 있다.

- K가 너무 작아서도, 너무 커서도 안 된다.

- K의 default 값은 5 -> 가장 가까운 5개 데이터를 기반으로 분류

- 일반적으로 K는 홀수를 사용함

 

 

 

 

 

Lazy Model

 

- KNN의 특징은 따로 훈련이 필요 없다는 것

  (다른 모델들은 clf.fit(x_train, y_train)의 코드를 통해 훈련시킨다.

  즉, 훈련 데이터를 기반으로 모델을 만드록 테스트 데이터로 테스트를 함)

- 하지만 KNN은 훈련이 따로 필요하지 않고, 그냥 훈련 데이터를 저장하는게 훈련의 전부

 

ex. SVM

-> 훈련 데이터를 기반으로 Decision Boundary를 만들고, 그렇게 만든 Decision Boundary를 통해 테스트 데이터를 분류함

 

- KNN은 위 그림처럼 새로운 데이터가 주어지면 그제야 주변의 K개 데이터를 보고 새로운 데이터를 분류해준다.

- 따라서 사전 모델링이 필요 x. real-time 예측이 이루어짐

- 모델을 별도로 구축하지 않는다는 뜻으로 게으른 모델 (lazy model)이라고 부름

- SVM이나 선형 회귀보다 빠름

 

 

 

 

 

거리 계산

- KNN에는 데이터와 데이터 사이의 거리를 구하는 2가지 방식이 있음

 

1. 유클리드 거리 (Euclidean Distance)

출처: cuemath

 

 

2. 맨해튼 거리 (Manhatten Distance)

- 점과 점 사이의 직선 거리가 아닌 X축, Y축을 따라 간 거리

- 아래 예시를 보면 Route 1, Route 2, Route3는 서로 다른 길로 갔지만

  X축으로 간 거리, Y축으로 간 거리가 똑같아 맨해튼 거리로는 똑같음

 

출처: friend.tistory.com