아파치 에어플로2

• 

  TFX - 텐서플로우 익스텐디드 TFX - 텐서플로우 익스텐디드이번 포스팅에서는 텐서플로우 기반 Google-production-scale 머신러닝 플랫폼인 텐서플로우 익스텐디드(TFX)를 소개하고 그 설치 방법을 알아보도록 하겠다. TFX를 사용하여 파이프라인 작업을 정의한 후 에어플로, 쿠브플로 파이프라인 등의 파이프라인 오케스트레이터로 파이프라인을 실행시킬 수 있다.1. TFX 소개머신러닝 파이프라인이 복잡해짐에 따라 작업 의존성을 관리하는 데에 드는 노력과 시간은 증가하기 마련이다. 파이프라인이 복잡해지고 커짐에 따라 태스크 간 결합을 수행하는 글루 코드(glue code)의 힘이 약해져 연결이 취약해지고, 이는 파이프라인의 고장을 초래할 수 있다. 여기서 연결이 취약해진다라고 함은, 프로덕션 모델의 업데이트가 주기적으로 이루어.. MLOps 2021. 12. 8.

• 

  파이프라인 오케스트레이션 파이프라인 오케스트레이션앞서 설명한 머신러닝 파이프라인의 모든 컴포넌트가 올바른 순서로 실행되도록 조정해야 할 필요가 있다. 각 컴포넌트는 실행되기 전에 해당 컴포넌트의 실행에 필요한 모든 입력값이 준비되어야 한다. 이러한 단계 조정에는 아파치 빔(Apache Beam), 아파치 에어플로(Apache Airflow), 쿠버네티스(Kubernetes) 인프라용 쿠브플로(Kubeflow) 파이프라인 등의 도구가 사용된다. 데이터 파이프라인 도구가 머신러닝 파이프라인 단계를 조정하는 동안, 텐서플로우 ML 메타데이터스토어(MetadataStore)와 같은 파이프라인 아티팩트(Artifact) 저장소는 개별 프로세스의 산출물을 저장한다.1) 파이프라인 오케스트레이션의 필요성2015년, 구글 머신러닝 엔지니어 팀.. MLOps 2021. 12. 6.