[혼자 공부하는 머신러닝 + 딥러닝] 6강_회귀 문제를 이해하고 k-최근접 이웃 알고리즘으로 풀어보기

6강_회귀 문제를 이해하고 k-최근접 이웃 알고리즘으로 풀어보기


k-최근접 이웃 회귀

  • k-최근접 이웃 분류 알고리즘
    • 예측하려는 샘플에 가장 가까운 샘플 k개를 선택
    • 그 다음 이 샘플들의 클래스를 확인하여 다수 클래스를 새로운 샘플의 클래스로 예측
  • k-최근접 이웃 회귀
    • 분류와 똑같이 예측하려는 샘플에 가장 가까운 샘플 k개를 선택 
    • 이웃한 샘플의 타깃은 어떤 클래스가 아니라 임의의 수치이기때문에 이들의 평균을 구함.


데이터 준비 

  • 산점도로 형태 확인 (matplotllib -> scatter() 함수 사용)
  • 훈련 세트와 테스트 세트 나누기 (sklearn -> train_test_split() 함수 사용)
    • sklearn 에 사용할 훈련 세트는 2차원 배열이어야 한다 (차원 바꿔주기)
      • reshape() 메서드 사용 : 배열의 크기를 바꿀 수 있음 (지정한 크기와 원소 배열의 원소 개수가 다르면 안됨)


sklearn에서 k-최근접 이웃 회귀 알고리즘을 구현한 클래스는 KNeighborsRegressor임



결정계수(R*2)



  • 식 
    • 각 샘플의 타깃과 예측한 값의 차이를 제곱하여 더함. 
    • 그 다음 타깃과 타깃 평균의 차이를 제곱하여 더한 값으로 나눔.
    • 만약 타깃의 평균 정도를 예측하는 수준이라면 결정계수는 0에 가까워지고, 예측이 타깃에 아주 가까워지면 1에 가까운 값이 됨. 
  • score() 메서드의 출력값의 의미
    • 값은 높을수록 좋은 것 (정확도나 결정계수)
    • 만약 score() 메서드가 에러율을 반환한다면 이를 음수로 만들어 실제로는 낮은 에러가  score() 메서드로 반환될 대는 높은 값이 되도록 바꿈. 
  • mean_absolute_error
    • 타깃과 예측의 절댓값 오차를 평균하여 반환함.


과대적합 vs 과소적합 

    • 훈련 세트와 테스트 세트의 점수를 비교했을 때 훈련 세트가 너무 높으면 과대적합, 그 반대이거나 두 점수가 모두 낮으면 과소적합임.
  • 모델을 훈련 세트에 훈련하면 훈련 세트에 잘 맞는 모델이 만들어짐.
  • 과대적합
    • 훈련 세트에서 점수가 굉장히 좋았는데 테스트 세트에서는 점수가 굉장히 나쁘다면 모델이 훈련세트에 과대적합 되었다고 말함.
    • 즉 훈련 세트에만 잘 맞는 모델이라 테스트 세트와 나중에 실전에 투입하여 새로운 샘플에 대한 예측을 만들 때 잘 동작하지 않을 것
  • 과소적합
    • 훈련 세트보다 테스트 세트의 점수가 높거나 두 점수가 모두 너무 낮은 경우
    • 즉 모델이 너무 단순하여 훈련 세트에 적절히 훈련되지 않은 경우 
    • 훈련세트가 전체 데이터를 대표한다고 가정하기 때문에 훈련 세트를 잘 학습하는 것이 중요함.
    • 과소적합이 일어나는 이유: 데이터가 작으면 테스트 세트가 훈련 세트의 특징을 따르지 못할 수 있음.
    • 과소적합 해결방법
      • 모델 복잡하게 만들기
      • 즉 훈련 세트에 더 잘 맞게 만들면 테스트 세트의 점수는 조금 낮아질 것
      • k-최근접 이웃 알고리즘으로 모델을 더 복잡하게 만드는 방법은 이웃의 개수 k를 줄이는 것. (훈련 세트에 있는 국지적인 패턴에 민감해짐)



회귀 문제 다루기

  • 회귀는 임의의 수치를 예측하는 문제 
  • k-최근접 이웃 회귀 모델은 분류와 동일하게 가장 먼저 가까운 k개의 이웃을 찾음.
  • 그 다음 이웃 샘플의 타깃값을 평균하여 이 샘플의 예측값으로 사용
  • 사이킷런은 회귀 모델의 점수로 결정계수 값 반환 (1이 짱)
    • 정량적 평가를 위해서는 절댓값 오차 사용할 수 있음
  • 모델을 훈련하고 나서 훈련 세트와 테스트 세트에 대해 모두 평가 점수 구할 수 있음.
  • 훈련 세트의 점수와 테스트 세트의 점수 차이가 크면 좋지 않으며 일반적으로 훈련 세트의 점수가 테스트 세트보다 조금 더 높음. 
  • 만약 테스트 세트의 점수가 너무 낮다면 모델이 훈련 세트에 과도하게 맞춰진 것이고 이를 과대적합이라고 함
    • 과대적합일 경우 모델을 덜 복잡하게 만들어야함. (k-최근접 이웃의 경우 k 값을 늘림)
  • 반대로 테스트 세트 점수가 너무 높거나 두 점수가 모두 낮으면 과소적합임. 
    • 과소 적합일 경우 모델을 더 복잡하게 만들어야 함. (k-최근접 이웃의 경우 k 값을 줄이는 것)


키워드로 끝내는 핵심 포인트 

  • 회귀
    • 회귀는 임의의 수치를 예측하는 문제.
    • 따라서 타깃값도 임의의 수치가 됨.
    • 두 변수 사이의 상관관계를 분석하는 방법
  • k-최근접 이웃 회귀
    • k-최근접 이웃 알고리즘을 사용해 회귀 문제를 품.
    • 가장 가까운 이웃 샘플을 찾고 이 샘플들의 타깃값을 평균하여 예측으로 삼음
  • 결정계수
    • 대표적인 회귀 문제의 성능 측정 도구 
    • 1에 가까울수록 좋고, 0에 가깝다면 성능이 나쁜 모델
  • 과대적합
    • 과대적합은 모델의 훈련 세트 성능이 테스트 세트 성능보다 훨씬 높을 때 일어남
    • 모델이 훈련 세트에 너무 집착해서 데이터에 내재된 거시적인 패턴을 감지하지 못함.
  • 과소적합
    • 훈련 세트와 테스트 세트 성능이 모두 동일하게 낮거나 테스트 세트 성능이 오히려 더 높을 때 일어남. 
    • 이런 경우 더 복잡한 모델을 사용해 훈련 세트에 잘 맞는 모델을 만들어야 함


핵심 패키지와 함수 

  • scikit-learn
    • KNeighborsRegressor
      • k-최근접 이웃 회귀 모델을 만드는 사이킷 런 클래스 
      • n_neighbors 매개변수로 이웃의 개수를 지정함. (기본값은 5)
      • 다른 매개변수는 KNeighborsClassifier 클래스와 거의 동일
    • mean_absolute_error()
      • 회귀 모델의 평균 절댓값 오차를 계산
      • 첫 번째 매개변수는 타깃, 두 번째 매개변수는 예측값을 전달.
      • 비슷한 함수로는 평균 제곱 오차를 계산하는 mean_squared_error()가 있음
      • 이 함수는 타깃과 예측을 뺀 값을 제곱한 다음 전체 샘플에 대해 평균한 값을 반환
  • numpy 
    • reshape
      • 배열의 크기를 바꾸는 메서드 
      • 바꾸고자 하는 배열의 크기를 매개변수로 전달 (전후 개수는 동일해야 함)
      • 넘파이는 종종 배열의 메서드와 동일한 함수를 별도로 제공함 (test_array.reshape(2,2) 와 np.reshape(test_array, (2,2))와 같은 모양)



댓글

댓글 쓰기

이 블로그의 인기 게시물

[혼자 공부하는 머신러닝 + 딥러닝] 17강_인공 신경망: 간단한 인공 신경망 모델 만들기

이미지
17강_인공신경망: 간단한 인공 신경망 모델 만들기 딥러닝과 인공 신경망 알고리즘을 이해하고 텐서플로를 사용해 간단한 인공 신경망 모델을 만들어 봄.  <혼자 공부하는 머신러닝+딥러닝>의 코드 저장소 인공 신경망 패션 MNIST MNIST 딥러닝을 처음 배울 때 많이 사용하는 데이터 셋. 0~9 까지의 숫자로 이루어져 있음 MNIST 와 크기, 개수가 동일하지만 숫자 대신 패션 아이템으로 이루어진 데이터. 텐서플로우(케라스)를 사용해 데이터를 불러옴 로지스틱 회귀로 패션 아이템 분류하기  확률적 경사 하강법 샘플을 하나씩 꺼내서 모델을 훈련하는 방법. 넘파이 배열의 바이트 크기 nbytes 속성에 저장되어 있음. 인공 신경망 출력층 신경망의 최종 값을 만든다는 의미 뉴런 z 값을 계산하는 단위 유닛 뉴런이라는 표현 대신에 부름 입력층 픽셀값 자체, 특별한 계산을 수행하지 않음.  1943년 워런 매컬러와 월터 피츠가 제안한 뉴런 모델 매컬러-피츠 뉴런 생물학적 뉴런에서 영감을 얻음 기존의 머신러닝 알고리즘이 잘 해결하지 못했던 문제에서 높은 성능을 발휘하는 새로운 종류의 머신러닝 알고리즘일 뿐. 딥러닝 인공신경망과 거의 동의어로 사용됨 혹은 심층 신경망을 딥러닝이라고 함.  여러 개의 층을 가진 인공 신경망 텐서플로와 케라스 텐서플로 구글이 2015년 11월 오픈소스로 공개한 딥러닝 라이브러리 알파고가 이세돌 9단을 이겨 폭발적 인기 끔. 케라스 텐서플로의 고수준 API  2015년 3월 프랑소와 숄레가 만든 딥러닝 라이브러리 그래픽 처리 장치인 GPU 사용하여 인공 신경망 훈련 (벡터와 행렬 연산에 매우 최적화) 멀티-백엔드 케라스 인공 신경망으로 모델 만들기  인공 신경망에서 교차 검증을 사용하지 않고 검증 세트를 사용하는 이유 딥러닝 분야의 데이터셋은 충분히 크기 때문에 검증 점수가 안정적 교차 검증을 수행하기에는 훈련 시간이 너무 오래 걸리기 때문.  밀집층 완전 연결층 활성화 함수...
자세한 내용 보기

[솔트룩스] 새싹 인공지능 응용 SW 개발자 양성과정 | 24일차 | 5. 머신러닝 (2)

이미지
  2022.01.17  | 24일차 | 5. 머신러닝 (2)     - 권혜윤 강사님 ( yujinkwon@nate.com )     - Decision Tree 수업 내용 코드 (코랩)     - Random Forest 수업 내용 코드 (코랩)      Decision Tree 분리 기준 (Split Criterion)  부모 마디로부터 자식 마디들이 형성될 때, 생성된 자식 노드에 속하는 자료의 순수도가 가장 크게 증가하도록 트리를 형성하며 진행 입력 변수를 이용해 목표 변수의 분포를 얼마나 잘 구별하는 정도를 파악해 자식 마디가 형성되는데, 목표 변수의 구별 정도를 불순도에 의해 측정 지니 지수 (Gini Index) : 데이터 집합의 불순도를 측정 0~1 사이의 값 어떤 데이터 집합에 속한 개체들이 같은 범주로 구성되어 있으면 지니 지수는 최솟값이 0을 갖고, 해당 데이터 집합은 순수하다고 볼 수 있음. 즉, 지니 지수가 작을수록 잘 분류된 것. Tree 만든 데이터는 정확도가 100%  데이터 보고 Gini 계산해서 Tree를 만들었기 때문 모든 데이터로 Tree를 만들어서 만든 Tree가 정확한 Tree인지 알 수 없음 해결방안 전체 75% 로 Tree를 만들고 (Train Set), 일부 25% 는 보관 (Test Set), 나중에 Test set 데이터로 Tree가 얼마나 정확한지 측정 강의자료 실습 Decision Tree [실습교재코드] 패키지 설명  Scikit-learn (sklearn) Python 프로그래밍 언어용 기계학습(Machine Learning) 관련 라이브러리 (Library) sklearn.metrics scikit-learn 패키지 중 모형평가에 사용되는 서브 패키지 classification_report: 주요 분류 측정 항목을 보여주는 보고서 모듈 confusion_matrix: 분류...
자세한 내용 보기

[혼자 공부하는 머신러닝 + 딥러닝] 10강_확률적 경사 하강법 알아보기

이미지
10강_확률적 경사 하강법 알아보기 경사 하강법 알고리즘을 이해하고 대량의 데이터에서 분류 모델을 훈련하는 방법을 배움.  <혼자 공부하는 머신러닝+딥러닝>의 코드 저장소 확률적 경사 하강법 점진적인 학습 앞서 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 더 훈련하는 방법 (온라인 학습)  대표적인 점진적 학습 알고리즘은 확률적 경사 하강법 확률적 경사 하강법  훈련 세트에서 랜덤하게 하나의 샘플을 고르는 것  가장 가파른 길을 찾아 내려오지만 조금씩 내려오는 것이 중요 (모델 훈련) 확률적 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾음.  에포크 훈련 세트를 한 번 모두 사용하는 과정 미니배치 경사 하강법 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식 배치 경사 하강법 극단적으로 한 번 경사로를 따라 이동하기 위해 전체 샘플을 사용하는 것. 가장 안정적인 방법이나 컴퓨터 자원을 많이 사용함.  신경망 모델이 확률적 경사 하강법이나 미니배치 경사 하강법을 사용함.  손실함수 어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준 손실함수와 비용함수 손실 함수는 샘플 하나에 대한 손실을 정의하고 비용 함수는 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합을 말함.  손실함수는 미분 가능해야함.  로지스틱 회귀 모델의 확률 출력 로지스틱 손실 함수 (이진 크로스엔트로피 손실 함수) 양성 클래스(타깃 = 1)일 때 손실은 -log(예측 확률)로 계산 확률이 1에서 멀어질수록 손실은 아주 큰 양수가 됨.  음성 클래스(타깃 = 0)일 때 손실은 -log(1-예측확률)로 계산 이 예측 확률이 0에서 멀어질수록 손실은 아주 큰 양수가 됨.  이진 분류는 로지스틱 손실 함수를 사용하고 다중 분류는 크로스엔트로피 손실 함수를 사용.  - 회귀는 어떤 손실함수를 사용하나? '...
자세한 내용 보기