전체 글133

• 

  과적합(Overfitting) 과적합(Overfitting) 1. 과적합이란 학습 데이터에 대해서는 높은 정확도를 보이지만, 검증 데이터 혹은 테스트 데이터에 대해서는 정확도가 낮은 경우를 의미한다. 복잡한 모형일수록, 데이터가 적을수록 과적합이 일어나기 쉽다. 과적합은 데이터 사이언스뿐만 아니라 AI 전반적으로 매우 큰 이슈 아래 그림은 회귀분석에서 고차항을 넣었을 때 만들어지는 직선 2. 분산(Variance)과 편파성(Bias) 3. 분산과 편파성의 트레이드오프(Tradeoff) 딜레마 분산과 표준편차가 모두 낮은 경우 (좌측 상단) 거의 존재하지 않는, 가장 이상적인 상황이다. 타깃 값에 높은 정확도를 가지고 적중함을 확인할 수 있다. 분산과 표준편차가 모두 높은 경우 (우측 하단) 예측값이 한 곳에 모이지도 않았고 타깃 값에.. ML&DL/ML DL 기본기 2021. 12. 7.

• 

  파이프라인 오케스트레이션 파이프라인 오케스트레이션앞서 설명한 머신러닝 파이프라인의 모든 컴포넌트가 올바른 순서로 실행되도록 조정해야 할 필요가 있다. 각 컴포넌트는 실행되기 전에 해당 컴포넌트의 실행에 필요한 모든 입력값이 준비되어야 한다. 이러한 단계 조정에는 아파치 빔(Apache Beam), 아파치 에어플로(Apache Airflow), 쿠버네티스(Kubernetes) 인프라용 쿠브플로(Kubeflow) 파이프라인 등의 도구가 사용된다. 데이터 파이프라인 도구가 머신러닝 파이프라인 단계를 조정하는 동안, 텐서플로우 ML 메타데이터스토어(MetadataStore)와 같은 파이프라인 아티팩트(Artifact) 저장소는 개별 프로세스의 산출물을 저장한다.1) 파이프라인 오케스트레이션의 필요성2015년, 구글 머신러닝 엔지니어 팀.. MLOps 2021. 12. 6.

• 

  모델 적합성 평가 및 실험설계 모델의 적합성 평가 및 실험설계 0. 용어 설명 MSE(mean squared error) 평균 제곱 오차. 예측값과 실제값 사이의 오차(잔차)의 제곱에 대한 평균 회귀 모형의 예측력을 평가하기 위해 예측 값과 실제 값이 유사한지 평가할 수 있는 척도로, 숫자가 작을수록 더욱 정확한 모델이라고 판단한다. 이외에도 Average error, MAE, MAPE, RMSE 등이 있다. Overfitting 과적합. 머신러닝에서, 학습 데이터를 과하게 학습하는 것을 뜻한다. 실제 데이터의 부분집합인 학습 데이터에 대해서는 오차가 감소하지만, 실제 데이터에 대해서는 오차가 증가하게 된다. Underfitting 과적합의 반대 개념. 과소 적합이라고도 불림. 학습 데이터가 충분치 않거나 학습이 제대로 이루어지지 않.. ML&DL/ML DL 기본기 2021. 12. 5.

• 

  머신러닝 파이프라인 단계 머신러닝 파이프라인 단계머신러닝 파이프라인은 새로운 학습 데이터 수집을 시작으로, 모델의 작동 피드백을 받는 것까지를 포함한다. 그 안에는 데이터 전처리, 모델 학습 및 분석, 모델 배포 등 다양한 단계가 포함되어 있다. 이러한 단계를 자동으로, 또 반복적으로 수행할 수 있게 하는 것이 머신러닝 파이프라인의 목적이다.위 그림에서처럼, 머신러닝 파이프라인은 반복되는 주기를 가진다. 데이터를 데이터 소스로부터 지속적으로 수집할 수 있으므로 모델의 지속적인 업데이트가 가능하고, 자동화된 재학습을 통해 모델의 성능을 개선할 수 있다. 실제 실무에서는 과거의 데이터와 현재 유입되는 데이터가 같다는 보장이 없는 경우가 많아 지속적인 재학습을 통한 업데이트가 필수적이며, 이를 머신러닝 파이프라인이 수행한다.1) 데이.. MLOps 2021. 12. 3.

• 

  머신러닝 기법 구분: 지도학습, 비지도 학습, 강화학습 머신러닝 기법 구분 머신러닝 기법은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning)으로 분류할 수 있다. 이중 지도 학습과 비지도 학습은 전통적인 머신러닝 기법으로 분류되며, 강화 학습은 보는 이에 따라 머신러닝과 별개의 분야로 보기도 한다. 지도 학습과 비지도 학습의 가장 큰 차이점은 학습 과정에 있어 전문가가 개입하여 학습을 '지도'하는지라고 할 수 있다. 가장 보편적인 지도 학습 방법은 입력 데이터에 대한 정답을 사전 정의하여 학습 데이터로 제공하는 것으로, 모델은 자신의 예측과 실제 정답을 비교하며 오차를 줄이는 방향으로 학습을 진행한다. 지도 학습은 다시 회귀(regression).. ML&DL/ML DL 기본기 2021. 12. 2.

• 

  머신러닝 파이프라인의 필요성 머신러닝 파이프라인의 필요성모델 생애 주기(Modle Lifecycle) 단계를 자동화할 수 있다는 점은 머신러닝 파이프라인의 주요 이점 중 하나이다. 새로운 훈련 데이터가 들어왔을 때, 데이터 검증, 전처리, 훈련, 분석 및 배포 등 전체 워크플로우를 자동으로 재설정할 수 있게 하는 것이 바로 머신러닝 파이프라인인 것이다.머신러닝 파이프라인의 이점기존 모델 유지보수에서 벗어나 새 모델에 집중할 수 있다: 새로운 모델 개발 시간 확보자동화된 ML 파이프라인은 기존 모델을 유지보수할 필요성을 줄여준다. 기존의 모델 조정 방식은 학습 데이터를 전처리하거나 일회성 배포를 수행하는 스크립트를 수동으로 실행하는 등의 형태로, 데이터 사이언티스트의 업무에 부담을 주었다. 이러한 방식은 시간과 비용이 많이 드는 것은.. MLOps 2021. 12. 1.

• 

  머신러닝의 개념과 종류 (+딥러닝의 장단점) 머신러닝(Machine Learning)이란 What is Machine Learning? 무엇(x)으로 무엇(y)을 예측하고 싶다! 인공지능, 머신러닝, 딥러닝 정의 인공지능(Artificial Intelligence, AI)이란 '문제를 인식하고 해결하는 능력인 지능을 인공적으로 구현한 것'을 의미한다. 생물체가 가지는 고유 능력인 지능을 기계에게 부여하고자 하는 시도가 바로 인공지능인 것이다. 인공지능의 하위 집합으로는 머신러닝(Machine Learning, ML)이 있다. 이는 단어 그대로 '기계가 스스로 학습'하여 지능을 습득하는 방식이다. 머신러닝은 학습 알고리즘을 통해 데이터에 숨겨진 정보와 규칙을 학습하고 이를 바탕으로 새로운 것을 예측하고 추론하는 기술이다. 머신러닝의 하위 집합에는 딥.. ML&DL/ML DL 기본기 2021. 12. 1.

• 

  MLOps: 머신러닝 파이프라인이란 머신러닝 파이프라인이란머신러닝 분야는 최근 몇 년간 정말 눈부신 성장을 이루었다.연구 분야는 물론 각종 필드에서 머신러닝을 비즈니스와 결합하려는 시도를 하고 있다. 간단한 작업에서부터, 개인화된 서비스를 제공하기 위한 분야, 심지어는 무언가 새로운 것을 만들어내는 분야에까지 확장되고 있는 상황이다. 하지만, 이러한 관심과 대비되게도, 머신러닝은 소프트웨어 산업이 앞서 경험한 프로세스의 표준화를 거치지 못하였다.머신러닝이 표준화된다면, 머신러닝 개발자와 데이터 사이언티스트들은 더욱 빠른 속도로 개발할 수 있게 되고, 이미 만들어둔 모델을 다시 쓸 수 있는 재사용성이 높아지며, 관리 및 배포가 더욱 용이해질 것이다. 머신러닝 파이프라인은, 앞서 말한 머신러닝 모델의 가속, 재사용, 관리 및 배포하는 프로세스.. MLOps 2021. 11. 30.

• 

  개발배경지식5) API와 REST API API (Application Programming Interface) API는 프로그램과 프로그램을 연결해주는 매개체이다. 네트워크를 통한 컴퓨터 간의 통신만큼, 프로그램 간의 통신 또한 굉장히 자주 이루어지곤 한다. 이때, 그 프로그램을 만드는 개발자는 해당 프로그램이 잘 통신할 수 있도록 규칙들을 잘 설계해야 한다. 여기서 다음 경우에 해당하는 경우에는 API가 프로그램 사이 중개자 역할을 해준다. 접근할 프로그램의 규칙이 복잡한 경우 프로그램 보안상 외부에서의 접근이 제한적이고 기능이 간접적으로 제공될 때 규칙들의 집합인 API는 프로그램의 기능을 대신해주기 때문에 해당 API가 제공하는 기능들을 미리 정리해서 규칙을 세워두면 클라이언트는 접근하고자 하는 프로그램에 대해서 자세히 알지 못하더라고 .. 컴퓨터 공학 기본/개발배경지식 2021. 11. 7.

• 

  개발배경지식4) 네트워크 네트워크 네트워크는 컴퓨터 간의 연결을 의미한다. 이러한 연결을 위해서는 크게 프로토콜, IP주소, PORT 가 필요하다. 각각은 How, Where, What을 의미한다. 즉, '어떤 방식으로(프로토콜), 어떤 컴퓨터에(IP주소), 어떤 프로그램을(PORT) 연결할 것인지'를 결정하는 것이 네트워크의 3요소라는 것이다. 프로토콜(Protocol) '약속', '규약', '협약'을 의미하는 단어로, 네트워크 분야 외에도 여러 분야에서 통용된다. 상호 간 원활한 소통을 위해 세우는 규칙의 의미로, 네트워크 분야에서는 각 기기마다 사전에 설정된 통신 협약을 의미한다. 인터넷 접속을 위한 기본 프로토콜인 TCP/IP부터 홈페이지를 띄우기 위한 HTTP, 여기에 데이터 암호화를 추가해 보안성을 강화한 HTTPS,.. 컴퓨터 공학 기본/개발배경지식 2021. 11. 5.

• 

  개발배경지식3) 라이브러리와 프레임워크 "Admin Page를 만들기 위해 백엔드 프레임워크는 무엇을 사용하는 게 좋을까? 그리고 그 안의 추가 기능을 위한 라이브러리는 무엇이 필요할까?" - 어느 웹개발자의 질문 - 개발자와 협업을 하다보면 프레임워크와 라이브러리란 용어를 자주 듣게 된다. 이것이 무엇이길래 이렇게 자주 언급되는 것일까? 그 개념에 대해 간략하게 알아보자. 프레임워크 (Framework) 프레임워크는 코드의 큰 틀(Frame)을 제공해주고, 그 틀 안에서 개발을 진행할 수 있도록 도와준다. 대표적인 웹프레임워크로는 프런트의 React, Vue, Angular 등이 있고, 백엔드의 node.js, django, Flask 등이 있다. 이러한 프레임워크는 개발에 필요한 아키텍처를 미리 구성하고 있기 때문에, 이를 따로 개발하지 .. 컴퓨터 공학 기본/개발배경지식 2021. 11. 4.

• 

  개발배경지식2) 프로그램과 프로그래밍 프로그램 프로그래밍 언어에 의해 짜인 코드가 컴파일되어 컴퓨터가 이해할 수 있는 형태로 바뀌어진 코드의 집합을 프로그램이라고 한다. 이러한 프로그램을 실행하게 되었을 때를 프로세스라고 한다. 프로세스 프로세스는 실행되고 있는 프로그램을 의미한다. 프로그램이 실행되면 이 프로그램은 메모리 위에 올라가게 되고, 이를 운영체제가 중재하는 역할을 한다고 이전 포스팅에서 언급한 바 있다. 이때 프로그램이 메모리에 올라가는 형태가 바로 프로세스이며, 이는 프로그램의 실행 정보, 코드, 그리고 실행되면서 사용되거나 생성되는 데이터 등으로 구성되어있다. 이 내용이 많을 경우 '무거운 프로그램'이라고 지칭하곤 한다. 실제 프로그램은 코드로 이루어져 있으며, 이러한 코드를 작성하는 행위를 프로그래밍이라고 한다. 그리고 이.. 컴퓨터 공학 기본/개발배경지식 2021. 11. 3.