선호:하다

이전 포스팅에서 다룬 GridSearchCV 클래스를 통해 머신러닝 모델의 최적의 파라매터를 찾는 방법을 배웠다. 하지만 실전 데이터를 다루면서 중간에 전처리 과정이 들어가게 되면 GridSearchCV를 사용할 때 주의할 점이 생긴다. 다음 예제를 통해 무엇이 문제인지 생각해보자. from sklearn.datasets import load_breast_cancer data = load_breast_cancer() from sklearn.model_selection import train_test_split X_train,X_test,y_train,y_test=train_test_split( X, y, test_size=0.3, stratify=y, random_state=11) from sklearn..

GridSearchCV GridSearchCV란 교차 검증 점수를 기반으로 머신러닝 모델의 최적의 파라매터를 검색할 수 있는 클래스이다. GridSearchCV 클래스를 사용하지 않는다면 다중 for문을 통해 최적의 파라매터를 찾아야 하는데 이는 제어할 파라매터의 종류가 많아질수록 가독성이 매우 떨어진다. ※ GridSearchCV의 하이퍼 파라매터 estimator : 예측기 객체 (Classifier, Regressor, Pipeline 등) param_grid : 사용할 파라메터가 정의된 dictionary cv : 교차검증 개수 (KFold 객체를 넣을 수도 있다) GridSearchCV 예제 from sklearn.ensemble import GradientBoostingClassifier # ..

교차검증 교차검증이란 모델 학습 시 데이터를 훈련용과 검증용으로 교차하여 선택하는 방법이다. 교차검증을 사용하게 되면 모든 데이터를 학습 및 테스트에 활용하기 때문에 과적합 또는 과소 적합을 방지하고 더욱 일반화된 모델을 생성할 수 있게 된다. 교차검증을 위한 cross_val_score 메소드 sklearn은 교차검증을 위해 cross_val_score 메소드를 제공한다. 기본적인 파라매터로는 예측기 모델, 전체 X 데이터, 전체 y 데이터, 교차검증 개수를 넣어준다. cv를 통해 교차검증 개수를 조정하고 scoring을 통해 교차검증 평가 방법을 수정할 수 있다. 수행 결과 교차검증 개수만큼의 예측기 객체가 생성되며 각 예측기의 평가 점수가 반환된다. 기본적으로 회귀 모델의 경우 R2 스코어, 분류 ..

데이터 전처리 1. 수치형 데이터 결측 데이터 처리 이상치 제거(대체) 스케일링 2. 문자열 데이터 결측 데이터 처리 라벨 인코딩 / 원핫 인코딩 문자열 데이터 인코딩 머신러닝 알고리즘은 문자열을 처리하지 못하기 때문에 문자열을 수치형으로 변환해줄 필요가 있다. 기본적으로 데이터의 분할 전에 문자열 인코딩이 이루어진다. 1. 라벨 인코딩 - 특정 문자열 데이터를 정수와 매칭하여 단순 변환하는 방식 - ex) 남성/여성 → 0/1 - 라벨 인코딩은 일반적으로 정답 데이터(y)가 문자열로 구성되어 있는 경우 사용 - 대소관계에 영향을 주기 때문에 설명변수(X)에는 잘 사용하지 않음. 2. 원핫 인코딩 - 유일한 문자열의 개수만큼 컬럼을 생성하여 그중 하나의 위치에만 1을 대입하는 방식 - ex) 남성/여성 ..

데이터 전처리 1. 수치형 데이터 결측 데이터 처리 이상치 제거(대체) 스케일링 2. 문자열 데이터 결측 데이터 처리 라벨 인코딩 / 원핫 인코딩 결측 데이터 처리 방법 1. 결측 데이터가 포함된 column을 제거 - 해당 컬럼에 데이터보다 결측치가 더 많은 경우 고려 가능 2. 결측 데이터가 포함된 레코드(행)를 제거 3. 기초 통계로 결측치 대체 - 수치형 데이터인 경우 평균, 중심값, 최빈값 등 사용 - 문자열 데이터인 경우 최빈값 사용 4. 지도학습 기반의 머신러닝 모델을 구축하여 예측값으로 결측 데이터 대치 5. 준지도학습, 비지도 학습 기반의 머신러닝 모델을 구축하여 예측값으로 결측 데이터 대치 결측 데이터 제거 일반적인 경우 1, 2번 방법을 사용하여 결측 데이터를 제거하는 것이 이상적이다..

선형 모델의 성능 향상을 위한 방법 1. 스케일 전처리(정규화) - 선형 모델은 각각의 특성에 대해 가중치를 할당 - 따라서 각각 특성의 스케일 차이 발생 시 가중치 적용에 어려움 - 정규화 : 데이터를 구성하는 각 컬럼의 값을 평균은 0, 표준편차는 1로 스케일 조정 from sklearn.preprocessing import StandardScaler scaler = StandardScaler() scaler.fit(X_train) X_train = scaler.transform(X_train) X_test = scaler.transform(X_test) 2. 차원 확장 - 선형 모델의 방정식 : y = x1 * w1 + x2 * w2 ... xN * wN + b - 차원을 확장하여 데이터에 대한 성..

LinearRegression 클래스는 학습데이터를 예측하기 위해서 각각의 특성별로 최적화된 가중치 값을 계산하는 머신러닝 알고리즘이다. 하지만 이렇게 생성된 가중치는 학습데이터에 완벽하게 맞는 가중치이므로 새로운 데이터를 예측할 때 적합하지 않을 가능성이 크다. 따라서 선형 모델은 위의 문제를 해결하기 위해서 제약의 방식을 사용하는데 이는 L1제약과 L2제약으로 나뉜다. L2 제약 조건 - 모든 특성에 대한 가중치 값을 0 주변으로 위치하도록 함 - L2 제약을 사용하면 LinearRegression 클래스의 일반화 성능이 증가하게 된다. - 선형모델에 L2 제약 조건을 추가한 클래스 : Ridge 클래스 L1 제약 조건 - 모든 특성 데이터 중 일부 특성에 대해서만 가중치 값을 할당 (대다수의 특성 ..

회귀분석 회귀분석이란 머신러닝이 예측해야하는 정답의 데이터 즉, 종속변수가 연속된 수치형인 경우를 의미한다. 회귀분석과 반대되는 개념으로는 분류분석이 있는데 이는 종속변수가 범주형인 경우이다. 회귀분석은 선형방정식을 활용한 머신러닝 클래스를 자주 사용한다. Linear Regression 선형방정식은 y = x1 * w1 + x2 * w2 + ... xn * wn + b 형태의 방정식을 의미한다. Linear Regression 클래스의 학습은 X 데이터를 구성하는 각 컬럼 별 최적화된 가중치와 절편의 값을 계산하는 과정을 수행한다. from sklearn.linear_model import LinearRegression model = LinearRegression() model.fit(X_train, ..

K-최근접 이웃 알고리즘은 주변 K개의 이웃 데이터를 통해 예측을 수행하는 분류 / 회귀형 머신러닝 알고리즘이다. KNeighborsClassifier KNeighborsClassifier는 K-최근접 이웃 알고리즘을 수행하는 분류형 클래스이다.다음과 같은 예시로 KNeighborsClassifier의 동작 원리를 알아보자. import pandas as pd # 빈 데이터프레임 객체 생성 X = pd.DataFrame() print(X) X['rate'] = [0.3, 0.8, 0.0999] print(X) X['price'] = [10000, 5000, 9500] print(X) # 종속변수 생성 y = pd.Series([0, 1, 0]) # 스케일 전처리 과정을 수행 # - price 컬럼의 값을..

이전 포스팅 데이터 분석의 과정 - 개요에 이어지는 내용입니다. 5. 머신러닝 모델의 구축 사이킷런의 KNeighborsClassifier 클래스를 불러와 머신러닝 모델 객체를 생성한다. KNeighborsClassifier 클래스 동작원리에 대한 포스팅 : K-최근접 이웃 알고리즘(K-NN) 각 머신러닝 알고리즘에 해당하는 hyper parameter 제어가 필수적이다. from sklearn.neighbors import KNeighborsClassifier model = KNeighborsClassifier(n_neighbors=11, n_jobs=-1) ※ 머신러닝 모델 객체 학습 - fit 메소드를 사용 - 사이킷런의 모든 머신러닝 클래스는 fit 메소드의 매개변수로 X, y를 입력 받음 - X..