[python] 사이킷런으로 머신러닝

Ver. Jupyter Notebook (Anaconda3)

▶ 머신러닝의 용어

# 피처(Feature), 속성 : 데이터, 타겟값을 제외한 나머지 속성
     ex) 꽃잎의 크기 (length, width)

# 레이블, 클래스, 타겟값, 결정값 : 정답 데이터
     ex) 품종 (Setosa, Vesicolor, Virginica)

# 학습 데이터 : 지도학습 할 데이터

# 테스트 데이터 : 학습을 기반으로 테스트할 데이터

 

▶ 머신러닝의 종류

# 교차 검증
 - KFold
 - Stratified KFold
    * cross_val_score() : 간략한 코드
    * GridSearchCV : 교차 검증 + 하이퍼 파라미터 튜닝 (모델의 성능을 최대로 끌어올리는 학습 조건)

 

▶ GridSearchCV

>>> import pandas as pd
>>> import numpy as np

>>> from sklearn.datasets import load_iris   # iris 데이터 로드
>>> from sklearn.tree import DecisionTreeClassifier   # 의사결정나무 분류기
>>> from sklearn.model_selection import GridSearchCV   # 교차 검증 + 하이퍼 파라미터 튜닝
>>> from sklearn.model_selection import train_test_split   # 학습, 데이터 분리
>>> from sklearn.metrics import accuracy_score  # 학습 정확도 측정
>>> from sklearn.model_selection import cross_val_score , cross_validate

# iris 데이터 로드
>>> iris_data = load_iris()
>>> dt_clf = DecisionTreeClassifier(random_state=121)  # random_state : 랜덤 고정값, 적용해주는 것이 좋음

>>> iris_data.keys()
dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename'])

>>> data = iris_data.data
>>> label = iris_data.target

# 학습/테스트 데이터 분리
>>> X_train, X_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target, 
>>>                                                             test_size=0.2, random_state=121)
                                                                   # test_size : 학습80%, 테스트20%

# 모델 정의
>>> dtree = DecisionTreeClassifier()

### hyper-parameter 들을 딕셔너리 형태로 설정
>>> parameters = {'max_depth':[1, 2, 3, 4], 'min_samples_split':[2, 3, 4]}

# param_grid의 하이퍼 파라미터들을 3개의 train, test set fold 로 나누어서 테스트 수행 설정
>>> grid_dtree = GridSearchCV(dtree, param_grid=parameters, cv=3, refit=True, return_train_score=True)
### refit=True 가 default : 가장 좋은 파라미터 설정으로 재 학습 시킴.  

# 붓꽃 Train 데이터로 param_grid의 하이퍼 파라미터들을 순차적으로 학습/평가
>>> grid_dtree.fit(X_train, y_train)

# GridSearchCV 결과는 cv_results_ 라는 딕셔너리로 저장됨
# 이를 DataFrame으로 변환해서 확인
>>> scores_df = pd.DataFrame(grid_dtree.cv_results_)
>>> scores_df[['params', 'mean_test_score', 'rank_test_score', 
>>>              'split0_test_score', 'split1_test_score', 'split2_test_score']]

>>> print('GridSearchCV 최적 파라미터:', grid_dtree.best_params_)
>>> print('GridSearchCV 최고 정확도: {0:.4f}'.format(grid_dtree.best_score_))
# refit=True로 설정된 GridSearchCV 객체가 fit()을 수행 시 학습이 완료된 Estimator를 내포하고 있으므로 predict()를 통해 예측도 가능. 
>>> pred = grid_dtree.predict(X_test)
>>> print('테스트 데이터 세트 정확도: {0:.4f}'.format(accuracy_score(y_test, pred)))
GridSearchCV 최적 파라미터: {'max_depth': 3, 'min_samples_split': 2}
GridSearchCV 최고 정확도: 0.9750
테스트 데이터 세트 정확도: 0.9667

# GridSearchCV의 refit으로 이미 학습이 된 estimator 반환
# 위에서 dtree = DecisionTreeClassifier() 로 estimator를 선언했고, 이를 GridSearchCV에 넣었으므로,
>>> estimator = grid_dtree.best_estimator_
>>> estimator
DecisionTreeClassifier(max_depth=3)

# GridSearchCV의 best_estimator_는 이미 최적 하이퍼 파라미터로 학습이 됨
>>> pred = estimator.predict(X_test)
>>> print('테스트 데이터 세트 정확도: {0:.4f}'.format(accuracy_score(y_test, pred))) # .4f : 소수점 4자리 부동소수
테스트 데이터 세트 정확도: 0.9667