TFX 모델 학습 - 모델 정의하기

TFX 모델 학습 - 모델 정의하기

앞선 단계들을 통해 모델에 사용될 데이터를 수집하고 검증한 후 처리하였다. 다음 단계는 이렇게 만들어진 데이터셋을 사용해 모델을 학습시키는 것이다. 모델 학습은 전체 파이프라인에서 가장 오랜 시간이 소요되는 부분이니 원활히 진행될 수 있도록 만반의 준비를 해두어야 한다.

 

머신러닝 파이프라인의 일부인 학습 모델링

 

TFX 파이프라인에서 모델을 학습할 때에는 데이터 전처리 단계에서 만들어진 변환 그래프가 훈련된 모델 가중치와 함께 저장되는 것이 필요하다. 전처리 단계와 학습된 모델을 그래프 하나로 내보내서 잠재적인 오류 원인을 제거하는 것이다.

---

예제 프로젝트 모델 정의하기

여기서는 별도의 실험 프로세스를 통해 모델 아키텍처를 선택하였다고 가정하고, TFX 파이프라인에 통합하게 될 예제 프로젝트 모델을 정의하는 것에 초점을 맞추도록 하겠다.

 

해당 모델은 다음과 같은 딥러닝 모델로서의 특징을 가진다.

• 사전 학습된(pre-trained) 모델을 활용한 전이 학습(transfer learning)
• 밀집 계층 (Dense layers)
• 연결 계층(Connected layers)

본 예제 프로젝트는 미국 소비자 금융 보호국의 데이터를 사용하여 소비자가 금융 상품에 대한 불만을 제기했는지를 예측하는 프로젝트이다. 모델의 피처는 [금융 상품/회사 반응/미국 state/소비자 불만 사항 description]을 포함한다. 모델의 전반적인 아키텍처는 구글의 Wide & Deep 모델 아키텍처를 참고했으며, 텐서플로우 허브의 Universal Sentence Encoder를 추가하여 자유 형식의 텍스트 피처(소비자 불만 사항 description)를 인코딩했다. 텍스트 피처는 'Deep' 방식을 채택했으며, 다른 방식은 'Wide' 방식을 채택했다.

예제 프로젝트의 모델 아키텍처