ML 메타데이터

ML 메타데이터

파이프라인 내 컴포넌트들은 아티팩트를 직접 주고받는 대신 파이프라인에서 만들어지는 아티팩트에 대한 참조를 기반으로 소통한다. 이러한 참조는 드라이버, 배포자 등에 의해 메타데이터로부터 얻어지며, 따라서 메타데이터는 TFX 파이프라인의 아주 중요한 요소 중 하나이다.

---

컴포넌트를 실행할 때, 드라이버는 MLMD(Machine Learning Metadata) 라이브러리의 API를 사용하여 실행에 해당하는 메타데이터를 저장한다. 실행 이후 컴포넌트 배포자는 컴포넌트의 출력 값의 참조를 메타데이터스토어에 저장한다. MLMD는 스토리지 백엔드에 연결을 구성하여 메타데이터를 메타데이터스토어에 끊임없이 저장한다. 현재 MLMD가 제공하는 스토리지 백엔드는 다음과 같이 세 가지로 나뉜다.

1. (SQLite를 통한) 메모리 내 데이터베이스
2. SQLite
3. MySQL

 

TFX 컴포넌트는 메타데이터를 지속적으로 끊임없이 추적하고 관리하기 때문에 동일한 컴포넌트의 입출력 아티팩트를 비교하고, 현재 실행하는 모델 분석 결과를 이전 실행에서 나온 모델의 분석 결과와 비교하는 등의 다양한 기능을 제공한다. 또한 메타데이터를 사용하여 이전에 생성한 다른 아티팩트 기반의 모든 아티팩트를 확인할 수도 있는데, 이는 머신러닝 파이프라인에 관한 기록 데이터를 만든다.

MLMD를 사용한 메타데이터 저장

위 그림은 각 컴포넌트가 메타데이터스토어와 상호 작용하며 작동하고, 메타데이터스토어는 제공된 데이터베이스 백엔드에 메타데이터를 저장하는 모습이다.