모델 학습3

• 

  TFX Trainer 컴포넌트 TFX Trainer 컴포넌트TFX의 Trainer 컴포넌트는 파이프라인의 학습 단계를 처리하는 컴포넌트이다. 이 컴포넌트는 새로운 데이터를 변환하고 예측하는 모델을 생성한다. 여기서 중요한 점은, 이 모델이 Transform 단계를 포함한다는 것이다. 데이터 전처리에 의해 만들어진 변환 데이터는 항상 학습될 모델이 기대하는 데이터와 일치하므로 잠재적인 오류를 배제할 수 있는 것이 최대 장점이다. 예시 Trainer 컴포넌트에는 다음과 같은 입력이 필요하다.데이터 검증 단계에서 생성된 데이터 스키마변환 데이터 및 전처리 그래프학습 하이퍼 파라미터run_fn() 함수가 포함된 모듈 파일run_fn() 함수Trainer 컴포넌트는 모듈 파일에서 run_fn() 함수를 찾아 학습 프로세스를 시작한다. 따라서 .. MLOps 2022. 1. 11.

• 

  TFX 모델 학습 - 모델 정의하기 TFX 모델 학습 - 모델 정의하기앞선 단계들을 통해 모델에 사용될 데이터를 수집하고 검증한 후 처리하였다. 다음 단계는 이렇게 만들어진 데이터셋을 사용해 모델을 학습시키는 것이다. 모델 학습은 전체 파이프라인에서 가장 오랜 시간이 소요되는 부분이니 원활히 진행될 수 있도록 만반의 준비를 해두어야 한다.  TFX 파이프라인에서 모델을 학습할 때에는 데이터 전처리 단계에서 만들어진 변환 그래프가 훈련된 모델 가중치와 함께 저장되는 것이 필요하다. 전처리 단계와 학습된 모델을 그래프 하나로 내보내서 잠재적인 오류 원인을 제거하는 것이다.예제 프로젝트 모델 정의하기여기서는 별도의 실험 프로세스를 통해 모델 아키텍처를 선택하였다고 가정하고, TFX 파이프라인에 통합하게 될 예제 프로젝트 모델을 정의하는 것에 초.. MLOps 2022. 1. 10.

• 

  머신러닝 파이프라인 단계 머신러닝 파이프라인 단계머신러닝 파이프라인은 새로운 학습 데이터 수집을 시작으로, 모델의 작동 피드백을 받는 것까지를 포함한다. 그 안에는 데이터 전처리, 모델 학습 및 분석, 모델 배포 등 다양한 단계가 포함되어 있다. 이러한 단계를 자동으로, 또 반복적으로 수행할 수 있게 하는 것이 머신러닝 파이프라인의 목적이다.위 그림에서처럼, 머신러닝 파이프라인은 반복되는 주기를 가진다. 데이터를 데이터 소스로부터 지속적으로 수집할 수 있으므로 모델의 지속적인 업데이트가 가능하고, 자동화된 재학습을 통해 모델의 성능을 개선할 수 있다. 실제 실무에서는 과거의 데이터와 현재 유입되는 데이터가 같다는 보장이 없는 경우가 많아 지속적인 재학습을 통한 업데이트가 필수적이며, 이를 머신러닝 파이프라인이 수행한다.1) 데이.. MLOps 2021. 12. 3.