드라이버2

• 

  ML 메타데이터 ML 메타데이터파이프라인 내 컴포넌트들은 아티팩트를 직접 주고받는 대신 파이프라인에서 만들어지는 아티팩트에 대한 참조를 기반으로 소통한다. 이러한 참조는 드라이버, 배포자 등에 의해 메타데이터로부터 얻어지며, 따라서 메타데이터는 TFX 파이프라인의 아주 중요한 요소 중 하나이다.컴포넌트를 실행할 때, 드라이버는 MLMD(Machine Learning Metadata) 라이브러리의 API를 사용하여 실행에 해당하는 메타데이터를 저장한다. 실행 이후 컴포넌트 배포자는 컴포넌트의 출력 값의 참조를 메타데이터스토어에 저장한다. MLMD는 스토리지 백엔드에 연결을 구성하여 메타데이터를 메타데이터스토어에 끊임없이 저장한다. 현재 MLMD가 제공하는 스토리지 백엔드는 다음과 같이 세 가지로 나뉜다.(SQLite를 통.. MLOps 2021. 12. 12.

• 

  TFX 컴포넌트 개요 TFX 컴포넌트 개요컴포넌트는 단일 태스크의 실행보다 더 복잡한 프로세스를 처리한다. 모든 머신러닝 파이프라인 컴포넌트는 메타데이터스토어에서 입력 아티팩트를 가져오고, 메타데이터스토어에서 제공한 경로에서 데이터를 로드하여 처리한다. 컴포넌트는 처리된 데이터를 출력하고 이 데이터는 다음 파이프라인 컴포넌트에 제공된다. 즉, 컴포넌트 내부에서는 다음과 같은 작업이 수행된다고 할 수 있다.입력 수신: 메타데이터스토어로부터 입력 아티팩트 수신 및 데이터 로드작업 수행: 데이터 처리최종 결과 저장: 결과 저장 후 출력 위 세 가지 작업을 수행하는 컴포넌트 내 파트를 각각 드라이버(driver), 실행자(executor), 배포자(publisher)라고 한다. 드라이버는 메타데이터스토어에서 입력 데이터를 가져오며,.. MLOps 2021. 12. 11.