[kaggle] 타이타닉(titanic) | 9. Feature Engineering - Fill Null in Age

3. Feature Engineering

 

- dataset에 존재하는 null data 채우기

-> null data를 포함하는 feature들의 statistics를 참고하여 채워보자

- Feature Engineering은 실제 모델의 학습에 쓰려고 하는 것이므로, train 뿐만 아니라 test에도 똑같이 적용해줘야 함!

 

 

 

 

 

3.1 Fill Null

 

df_train['Age'].isnull().sum()

  - Age에는 177개의 null data가 존재한다.

  -> title(Mr., Miss., ...)를 사용해 null data를 채워주자 !

 

 

 

 

 

 

df_train['Name']

  - Name에서 title만 추출하자

 

 

 

 

 

df_train['Initial'] = df_train['Name'].str.extract('([A-Za-z]+)\.')
df_test['Initial'] = df_test['Name'].str.extract('([A-Za-z]+)\.')

- pandas sereis에는 data를 string으로 바꿔주는 str 메소드가 존재한다.

+ 정규표현식을 적용하게 해주는 extract 메소드 를 이용해 title을 추출하기

 

 

 

 

 

 

pd.crosstab(df_train['Initial'], df_train['Sex]).T.style.background_gradient(camp='summer_r')

  - 위 테이블을 이용해 남자, 여자가 쓰는 initial 을 구분해보자

 

 

 

 

 

df_train['Initial'].replace(['Mlle', 'Mme', 'Ms', 'Dr', 'Major', 'Lady', 
                            'Countess', 'Jonkheer', 'Col', 'Rev', 'Capt', 
                           'Sir', 'Don', 'Dona'],
                            ['Miss', 'Miss', 'Miss', 'Mr', 'Mr', 'Mrs', 
                            'Mrs', 'Other', 'Other', 'Other', 'Mr', 
                            'Mr', 'Mr', 'Mr'], inplace=True)

df_test['Initial'].replace(['Mlle', 'Mme', 'Ms', 'Dr', 'Major', 'Lady', 
                            'Countess', 'Jonkheer', 'Col', 'Rev', 'Capt', 
                           'Sir', 'Don', 'Dona'],
                            ['Miss', 'Miss', 'Miss', 'Mr', 'Mr', 'Mrs', 
                            'Mrs', 'Other', 'Other', 'Other', 'Mr', 
                            'Mr', 'Mr', 'Mr'], inplace=True)

  - replace : 특정 데이터 값을 원하는 값으로 치환해줌

  - inplace=True : 변수에 재할당 안 해줘도 바로 적용 됨

 

 

 

 

 

df_train.groupby('Initial').mean()

  - Mrs & Miss의 Survived 생존률이 높다.

  -> 여성의 생존률이 높음을 확인할 수 있다.

 

 

 

 

---

 

 

 

• 그룹별로 생존률을 확인해보자

df_train.groupby('Initial')['Survived'].mean()

 

 

 

 

 

df_train.groupby('initial')['Survived'].mean().plot.bar()

 

 

 

 

---

 

 

 

- 이제 위를 기반으로 본격적으로 null data를 채워보자

- 우리는 train에서 얻은 statistics를 기반으로 test의 null data를 채울 것이다.

 

 

 

 

 

 

df_train.groupby('Initial').mean()

 

  - Age의 평균을 이용해 null data 채우자

 

 

 

 

 

df_train.loc[(df_train['Age'].isnull()) & (df_train['Initial'] == 'Mr'), 'Age'= 33
df_train.loc[(df_train['Age'].isnull()) & (df_train['initial'] == 'Mrs'), 'Age'] = 36
df_train.loc[(df_train['Age'].isnull()) & (df_train['initial'] == 'Master'), 'Age'] = 5
df_train.loc[(df_train['Age'].isnull()) & (df_train['initial'] == 'Miss'), 'Age'] = 22
df_train.loc[(df_train['Age'].isnull()) & (df_train['initial'] == 'Other'), 'Age'] = 46

 

df_test.loc[(df_test['Age'].isnull()) & (df_train['initial'] == 'Mr'), 'Age'] = 33
df_test.loc[(df_test['Age'].isnull()) & (df_test['initial'] == 'Mrs'), 'Age'] = 36
df_test.loc[(df_test['Age'].isnull()) & (df_test['initial'] == 'Master'), 'Age'] = 5
df_test.loc[(df_test['Age'].isnull()) & (df_test['initial'] == 'Miss'), 'Age'] = 22
df_test.loc[(df_test['Age'].isnull()) & (df_test['initial'] == 'Other'), 'Age'] = 46