[혼자 공부하는 머신러닝 + 딥러닝] 8강_특성 공학과 규제 알아보기

 8강_특성 공학과 규제 알아보기


다중 회귀

  • 여러 개의 특성을 사용한 선형 회귀
  • 특성이 2개면 선형 회귀는 평면을 학습함. 
  • 특성이 많은 고차원에서는 선형 회귀가 매우 복잡한 모델을 표현할 수 있음. 
    • 선형 회귀를 단순한 직선이나 평면으로 생각하여 성능이 무조건 낮다고 오해하면 안됨. 



데이터 준비

  • 판다스: 데이터 분석 라이브러리
  • 데이터 프레임: 판다스의 핵심 데이터 구조
  • read_csv()
  • to_numpy()


사이킷런의 변환기

  • 사이킷런에는 변환기라 부르는 특성을 만들거나 전처리하는 클래스가 있음.
  • fit(), transform()
  • PolynomialFeatures (sklearn.preprocessing)
    • 각 특성을 제곱한 항을 추가하고 특성끼리 서로 곱한 항을 추가함. 
  • 훈련(fit: 새롭게 만들 특성 조합을 찾음)을 해야 (transform: 실제로 데이터를 변환)이 가능함. 사이킷런의 일관된 api 때문에 두 단계로 나뉘어져 있음. 두 메서드를 하나로 붙인 fit_transform 메서드도 있음.
  • 변환기는 타깃 데이터 없이 입력 데이터를 변환함. 
  • get_feature_names() 
    • 특성이 어떻게 만들어졌는지 확인하는 메서드 

- include_bias = False 를 꼭 지정해야 하는지?     include_bias = False 로 지정하지 않아도 사이킷런 모델은 자동으로 특성에 추가된 절편 항을 무시함. 하지만 혼돈을 피하기 위해 명시적으로 지정하는 경우 있음. 
- 꼭 훈련 세트에 적용했던 변환기로 테스트 세트를 변환해야 하는지?      따로 변환해도 됨. 하지만 항상 훈련 세트를 기준으로 테스트 세트를 변환하는 습관을 들이는 것이 좋음. 

다중 회귀 모델 훈련하기

  • LinearRegression 클래스 임포트
  • Train_poly  사용해 모델 학습
  • 과소적합 해결
  • 특성의 개수를 크게 늘일 때
    • 선형 모델 강력해짐
    • 거의 완벽 학습
    • 하지만 훈련 세트에 너무 과대적합되므로 테스트 세트에서는 형편없는 점수 나옴


규제

  • 규제는 머신러닝 모델이 훈련 세트를 너무 과도하게 학습하지 못하도록 훼방하는 것을 말함. 
  • 즉 모델이 훈련 세트에 과대적합되지 않도록 만드는 것.
  • 선형 회귀 모델의 경우 특성에 곱해지는 계수(또는 기울기)의 크기를 작게 만드는 일. 
  • 특성의 스케일 고려해야함 (정규화 필요)
  • 훈련 세트로 학습한 변환기를 사용해 테스트 세트까지 변환해야함
  • 선형 회귀 모델에 규제를 추가한 모델을 릿지와 라쏘라고 부름.  (sklearn.linear_model 패키지)



릿지 회귀

  • 계수를 제곱한 값을 기준으로 규제를 적용.
  • 규제의 양을 임의로 조절 가능 (alpha 매개변수로 규제의 강도 조절)
    • alpha 값이 크면 규제 강도가 세지므로 계수 값을 더 줄이고 조금 더 과소적합되도록 유도
    • allpha 값이 작으면 계수를 줄이는 역할이 줄어들고 선형 회귀 모델과 유사해지므로 과대적합될 가능성이 큼.
    • 적절한 alpha 값을 찾는 한 가지 방법은 alpha  값에 대한 결정계수 값의 그래프를 그려보는 것



라쏘 회귀

  • 계수의 절대값을 기준으로 규제를 적용. 
  • 라쏘는 계수의 크기를 아예 0으로 만들 수 있음. 
  • 라쏘 모델 훈련할 때 ConvergenceWarning 이란 경고가 발생할 수 있음. 
    • 최적의 계수를 찾기 위해 반복적인 계산을 수행하는데, 지정한 반복 횟수가 부족할 때 이런 경고가 발생함. 
    • 반복 횟수를 충분히 늘려줌.
  • 릿지와 마찬가지로 과대적합을 잘 억제하고 테스트 세트의 성능을 크게 높임. 
  • coef_속성 (계수 설정)



모델의 과대적합을 제어하기

  • 과소적합 제어를 위해 다른 특성들을 활용하고 다중 회귀 모델을 훈련시킴.
  • 다항 특성을 많이 추가하여 훈련세트에서 거의 완벽에 가까운 점수를 얻는 모델을 훈련.
    • 강력한 성능, 하지만 선형회귀 모델 제약 도구 필요.
  • 사이킷런을 사용해 다중 회귀 모델과 릿지, 라쏘 모델을 훈련시킴. 
    • 규제 양을 조절하기 위해 alpha 값 찾음.


키워드로 끝내는 핵심 포인트

  • 다중 회귀
    • 여러 개의 특성을 사용하는 회귀 모델.
    • 특성이 많으면 선형 모델은 강력한 성능을 발휘함.
  • 특성 공학 (사이킷런 도구 사용)
    • 주어진 특성을 조합하여 새로운 특성을 만드는 일련의 작업 과정.
  • 릿지
    • 규제가 있는 선형 회귀 모델 중 하나
    • 선형 모델의 계수를 작게 만들어 과대적합을 완화시킴.
    • 릿지는 비교적 효과가 좋아 널리 사용하는 규제 방법.
  • 라쏘
    • 또 다른 규제가 있는 선형 회귀 모델. 
    • 릿지와 달리 계수 값을 아예 0으로 만들 수도 있음. 
  • 하이퍼파라미터
    • 머신러닝 알고리즘이 학습하지 않는 파라미터
    • 사람이 사전에 지정해야 함
    • 대표적으로 릿지와 라쏘의 규제 강도 alpha 파라미터

핵심 패키지와 함수 

  • pandas
    • read_csv()
      • CSV 파일을 로컬 컴퓨터나 인터넷에서 읽어 판다스 데이터프레임으로 변환하는 함수 (sep / header / skiprows / nrows)
  • scikit-learn
    • PolynomiaFeatures
      • 주어진 특성을 조합하여 새로운 특성을 만듬 (degree / interaction_only / include_bias)
    • Ridge
      • 규제가 있는 회귀 알고리즘인 릿지 회귀 모델을 훈련 (alpha / solver / random_state)
    • Lasso
      • 규제가 있는 회귀 알고리즘인 라쏘 회귀 모델을 훈련 
      • 최적의 모델을 찾기 위해 좌표축을 따라 최적화를 수행해가는 좌표 하강법을 사용 (alpha / random_state / max_iter)


확인문제

  1. a, b, c 특성으로 이루어진 훈련 세트를 PolynomialFeatures (degree = 3) 으로 변환. 다음 중 이 변환된 데이터에 포함되지 않는 특성은?!
  2. 다음 중 특성을 표준화하는 사이킷런 변환기 클래스는 ? 
  3. 다음 중 과대적합과 과소적합을 올바르게 표현하지 못한 것은?




댓글

댓글 쓰기

이 블로그의 인기 게시물

[혼자 공부하는 머신러닝 + 딥러닝] 17강_인공 신경망: 간단한 인공 신경망 모델 만들기

이미지
17강_인공신경망: 간단한 인공 신경망 모델 만들기 딥러닝과 인공 신경망 알고리즘을 이해하고 텐서플로를 사용해 간단한 인공 신경망 모델을 만들어 봄.  <혼자 공부하는 머신러닝+딥러닝>의 코드 저장소 인공 신경망 패션 MNIST MNIST 딥러닝을 처음 배울 때 많이 사용하는 데이터 셋. 0~9 까지의 숫자로 이루어져 있음 MNIST 와 크기, 개수가 동일하지만 숫자 대신 패션 아이템으로 이루어진 데이터. 텐서플로우(케라스)를 사용해 데이터를 불러옴 로지스틱 회귀로 패션 아이템 분류하기  확률적 경사 하강법 샘플을 하나씩 꺼내서 모델을 훈련하는 방법. 넘파이 배열의 바이트 크기 nbytes 속성에 저장되어 있음. 인공 신경망 출력층 신경망의 최종 값을 만든다는 의미 뉴런 z 값을 계산하는 단위 유닛 뉴런이라는 표현 대신에 부름 입력층 픽셀값 자체, 특별한 계산을 수행하지 않음.  1943년 워런 매컬러와 월터 피츠가 제안한 뉴런 모델 매컬러-피츠 뉴런 생물학적 뉴런에서 영감을 얻음 기존의 머신러닝 알고리즘이 잘 해결하지 못했던 문제에서 높은 성능을 발휘하는 새로운 종류의 머신러닝 알고리즘일 뿐. 딥러닝 인공신경망과 거의 동의어로 사용됨 혹은 심층 신경망을 딥러닝이라고 함.  여러 개의 층을 가진 인공 신경망 텐서플로와 케라스 텐서플로 구글이 2015년 11월 오픈소스로 공개한 딥러닝 라이브러리 알파고가 이세돌 9단을 이겨 폭발적 인기 끔. 케라스 텐서플로의 고수준 API  2015년 3월 프랑소와 숄레가 만든 딥러닝 라이브러리 그래픽 처리 장치인 GPU 사용하여 인공 신경망 훈련 (벡터와 행렬 연산에 매우 최적화) 멀티-백엔드 케라스 인공 신경망으로 모델 만들기  인공 신경망에서 교차 검증을 사용하지 않고 검증 세트를 사용하는 이유 딥러닝 분야의 데이터셋은 충분히 크기 때문에 검증 점수가 안정적 교차 검증을 수행하기에는 훈련 시간이 너무 오래 걸리기 때문.  밀집층 완전 연결층 활성화 함수...
자세한 내용 보기

[솔트룩스] 새싹 인공지능 응용 SW 개발자 양성과정 | 24일차 | 5. 머신러닝 (2)

이미지
  2022.01.17  | 24일차 | 5. 머신러닝 (2)     - 권혜윤 강사님 ( yujinkwon@nate.com )     - Decision Tree 수업 내용 코드 (코랩)     - Random Forest 수업 내용 코드 (코랩)      Decision Tree 분리 기준 (Split Criterion)  부모 마디로부터 자식 마디들이 형성될 때, 생성된 자식 노드에 속하는 자료의 순수도가 가장 크게 증가하도록 트리를 형성하며 진행 입력 변수를 이용해 목표 변수의 분포를 얼마나 잘 구별하는 정도를 파악해 자식 마디가 형성되는데, 목표 변수의 구별 정도를 불순도에 의해 측정 지니 지수 (Gini Index) : 데이터 집합의 불순도를 측정 0~1 사이의 값 어떤 데이터 집합에 속한 개체들이 같은 범주로 구성되어 있으면 지니 지수는 최솟값이 0을 갖고, 해당 데이터 집합은 순수하다고 볼 수 있음. 즉, 지니 지수가 작을수록 잘 분류된 것. Tree 만든 데이터는 정확도가 100%  데이터 보고 Gini 계산해서 Tree를 만들었기 때문 모든 데이터로 Tree를 만들어서 만든 Tree가 정확한 Tree인지 알 수 없음 해결방안 전체 75% 로 Tree를 만들고 (Train Set), 일부 25% 는 보관 (Test Set), 나중에 Test set 데이터로 Tree가 얼마나 정확한지 측정 강의자료 실습 Decision Tree [실습교재코드] 패키지 설명  Scikit-learn (sklearn) Python 프로그래밍 언어용 기계학습(Machine Learning) 관련 라이브러리 (Library) sklearn.metrics scikit-learn 패키지 중 모형평가에 사용되는 서브 패키지 classification_report: 주요 분류 측정 항목을 보여주는 보고서 모듈 confusion_matrix: 분류...
자세한 내용 보기

[혼자 공부하는 머신러닝 + 딥러닝] 10강_확률적 경사 하강법 알아보기

이미지
10강_확률적 경사 하강법 알아보기 경사 하강법 알고리즘을 이해하고 대량의 데이터에서 분류 모델을 훈련하는 방법을 배움.  <혼자 공부하는 머신러닝+딥러닝>의 코드 저장소 확률적 경사 하강법 점진적인 학습 앞서 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 더 훈련하는 방법 (온라인 학습)  대표적인 점진적 학습 알고리즘은 확률적 경사 하강법 확률적 경사 하강법  훈련 세트에서 랜덤하게 하나의 샘플을 고르는 것  가장 가파른 길을 찾아 내려오지만 조금씩 내려오는 것이 중요 (모델 훈련) 확률적 전체 샘플을 사용하지 않고 딱 하나의 샘플을 훈련 세트에서 랜덤하게 골라 가장 가파른 길을 찾음.  에포크 훈련 세트를 한 번 모두 사용하는 과정 미니배치 경사 하강법 여러 개의 샘플을 사용해 경사 하강법을 수행하는 방식 배치 경사 하강법 극단적으로 한 번 경사로를 따라 이동하기 위해 전체 샘플을 사용하는 것. 가장 안정적인 방법이나 컴퓨터 자원을 많이 사용함.  신경망 모델이 확률적 경사 하강법이나 미니배치 경사 하강법을 사용함.  손실함수 어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준 손실함수와 비용함수 손실 함수는 샘플 하나에 대한 손실을 정의하고 비용 함수는 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합을 말함.  손실함수는 미분 가능해야함.  로지스틱 회귀 모델의 확률 출력 로지스틱 손실 함수 (이진 크로스엔트로피 손실 함수) 양성 클래스(타깃 = 1)일 때 손실은 -log(예측 확률)로 계산 확률이 1에서 멀어질수록 손실은 아주 큰 양수가 됨.  음성 클래스(타깃 = 0)일 때 손실은 -log(1-예측확률)로 계산 이 예측 확률이 0에서 멀어질수록 손실은 아주 큰 양수가 됨.  이진 분류는 로지스틱 손실 함수를 사용하고 다중 분류는 크로스엔트로피 손실 함수를 사용.  - 회귀는 어떤 손실함수를 사용하나? '...
자세한 내용 보기