전체 글155

• GitHub Actions를 활용한 머신러닝 모델 테스트 및 성능 모니터링 자동화 GitHub Actions를 활용한 머신 러닝 모델 테스트 및 성능 모니터링 자동화머신러닝 모델의 개발 및 배포 과정에서 지속적인 통합과 배포(CI/CD)는 매우 중요하다. 이 과정은 서비스에 배포되어 있는 모델의 버전을 업데이트하는 것뿐만 아니라 모델을 테스트하고 성능을 모니터링하는 것 또한 포함할 수 있다. GitHub Actions는 이 과정을 자동화하여 모델 개발자들이 좀 더 편하게 모델을 개발하고 배포하며 관리할 수 있도록 해준다. 이 글에서는 GitHub Actions를 이용하여 머신러닝 모델을 자동으로 테스트하고 성능을 모니터링하는 방법에 대해 다뤄보려 한다. GitHub Actions 기본GitHub Actions는 GitHub 저장소를 기반으로 작동하는 CI/CD 시스템이다. 여기서 CI.. MLOps 2024. 5. 4.

• 

  [리뷰] 챗GPT API를 활용한 챗봇 만들기 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다.챗GPT API를 활용한 챗봇 만들기이승우 지음 챗GPT API를 활용한 챗봇 만들기챗GPT, 아직도 ‘사용’만 하나요? 생성형 AI 실무 개발자가 알려주는 챗GPT 200% 활용하기m.hanbit.co.kr간단 서평2022년부터 현재까지 가장 뜨거운 감자로 부상한 LLM은 전통적인 공룡 기업인 구글, MS는 물론 대 LLM 시대의 신호탄을 터뜨린 OpenAI, 초신성처럼 등장한 앤트로픽 등 다양한 기업들이 연구하고 앞다퉈 서비스를 내놓으며 왕좌를 차지하기 위해 고군분투하고 있는 아이템이다. LLM은 현존하는 인공지능 기술 중 가장 AGI에 근접하다는 이야기도 나올 정도로 막강한 능력을 가지고 있는데, 이와 .. 리뷰/도서, 강의 리뷰 2024. 4. 27.

• 

  [글또 X Udemy] 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기 나는 현재 카일(변성윤)님이 운영 중이신 개발자 글쓰기 커뮤니티인 '글또'에서 9기 멤버로 활동 중이다. 글또는 기술 블로그를 운영하는 데에 관심이 많은 개발자와 여러 IT 관련 직군들이 모여있는 커뮤니티로, 약 5개월간 2주에 한 번 이상 퀄리티 있는 글을 쓰고 이를 서로 공유하는 커뮤니티이다. * 글또(개발자 글쓰기 모임) 소개 글또(개발자 글쓰기 모임) 소개 | 글또 Document글또 소개geultto.github.io 이번 기수에는 유명한 온라인 교육 플랫폼 Udemy에서 글또 멤버들에게 1개 내지는 2개의 강의를 후원해주었고, 나는 당시 LLM 기반 서비스를 만들어보고자 했었기에 '랭체인 - LangChain 으로 LLM 기반.. 리뷰/도서, 강의 리뷰 2024. 4. 26.

• 트랜스포머 기반 LLM 동작 원리 톺아보기 트랜스포머 기반 LLM의 동작 원리 톺아보기 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포.. 카테고리 없음 2024. 4. 14.

• ALS, k-NN, Neural CF ALS: Alternating Least Square ALS는 Matrix Factorization 방법 중 하나로, 대규모 데이터셋을 처리할 때 모든 변수를 동시에 최적화하는 대신 한 번에 하나의 변수 세트를 고정하고 다른 변수 세트를 최적화하는 것이다. ALS는 특정 변수 세트를 고정하고 다른 세트를 최적화할 때, 이 최적화 과정을 여러 데이터 분할에 걸쳐 동시에 수행 가능 → 대규모 데이터셋에 대해 효율적인 병렬 처리 가능하다. 이와 같은 능력 덕에, 스케일 아웃이 비교적 용이하다. 또한 ALS는 Convex 목적함수 관점에서의 장점도 가진다. ALS에서 고정된 변수에 대해 다른 변수를 최적화할 때, 각 단계에서의 최적화 문제가 Convex 최적화 문제가 되어 Global minima에 도달할 수 .. ML&DL/추천시스템 2024. 3. 31.

• 

  [리뷰] 실무로 통하는 인과추론 with 파이썬 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 실무로 통하는 인과추론 with 파이썬 마테우스 파쿠레 지음 신진수, 가짜연구소 인과추론팀 옮김 박지용 감수 실무로 통하는 인과추론 with 파이썬 | 마테우스 파쿠레 - 교보문고 실무로 통하는 인과추론 with 파이썬 | 데이터 기반의 통찰력 있는 의사결정을 위한 인과추론, 효율적인 영향력 분석을 통한 성공적인 비즈니스 정책 결정온라인 마케팅 예산을 1달러 높이면 구 product.kyobobook.co.kr 간단 서평 '인과관계'는 일상에서도 자주 사용되는 단어이다. 하지만 이 인과관계라는 것은 생각보다 그렇게 만만히 볼 개념이 아니다. 예를 들어, 한 대형마트가 연말을 맞아 초특가 세일을 하는 경우를 살펴보자. 이러한 세일 이벤트를 진행.. 리뷰/도서, 강의 리뷰 2024. 3. 23.

• 

  고윳값 분해, 특이값 분해(SVD) 고윳값 분해, 특이값 분해 고윳값 분해와 특이값 분해는 두 가지 강력한 행렬 분해 방법으로, 행렬의 분해 및 재구성을 통해 데이터를 더 잘 이해하고 머신러닝 및 딥러닝 모델의 성능을 향상시킬 수 있는 도구 중 하나이다. 특히 특이값 분해는 데이터 차원의 축소 및 압축, 잠재 요인 모델링, 노이즈 제거, 특징 추출 등에 사용할 수 있는 방법이므로 잘 알아두는 것이 좋다. 고윳값 분해 정방 행렬 A의 고유벡터로 이루어진 행렬 V와 각 고윳값을 대각성분으로 갖는 행렬 Λ에 대해 다음과 같은 식이 성립한다. AV=VΛ 이때 만약 모든 고유벡터들이 선형 독립이라면 그 행렬의 고유벡터들이 벡터 공간의 기저를 형성한다는 것을 의미하며, 이러한 행렬의 고유벡터들을 열벡터로.. ML&DL/Math for ML 2024. 3. 21.

• 

  고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간은 선형대수학의 핵심 개념 중 하나이며 이는 특정 벡터 공간에 대한 핵심적인 정보를 주므로 명확히 알아둘 필요가 있다. 간단히 개념을 정리해 보자. 고윳값, 고유벡터 n×n 정방 행렬 A와 상수 Λ에 대하여 Ax=Λx가 성립하는 0이 아닌 벡터 x가 존재할 때, 상수 Λ를 행렬 A의 고윳값(eigenvalue)라고 하며, x를 이에 대응하는 고유벡터(eigenvector)라고 한다. 고윳값은 최소 1개에서 최대 서로 다른 n개(행렬 A의 랭크의 수)까지 존재할 수 있으며, 행렬 A의 모든 고윳값 집합을 행렬 A의 스펙트럼(spectrum)이라고 한다. 또, 이 .. ML&DL/Math for ML 2024. 3. 20.

• 

  역행렬과 행렬식 역행렬과 행렬식 역행렬과 이의 존재 여부를 알 수 있는 행렬식은 선형 연립 방정식을 풀기 위해 매우 중요한 개념이다. 각각의 개념을 가볍게 알아보도록 하자. 역행렬 어떤 행렬과 곱했을 때 항등 행렬이 나오는 행렬을 그 행렬의 역행렬(Inverse Matrix)이라고 한다. 행렬 A의 역행렬은 A−1과 같이 표현하며, 행렬 A가 orthogonal matrix라면 AT=A−1이 성립한다. 행렬 곱의 역행렬은 다음과 같이 정의된다. (AB)−1=B−1A−1 어떤 행렬의 역행렬은 존재할 수도 있고 하지 않을 수도 있으나 존재한다면 유일하게 존재한다. 이때 이 존재 여부는 행렬식을 계산함으로써 알 수 있다. 행렬식 행렬식(Determinant)은 정사각 행렬.. ML&DL/Math for ML 2024. 3. 18.

• 

  1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 TL;DR이 솔루션은 ICCV 2023 Egocentric 3D Hand Pose Estimation Challenge에서 1위를 차지한 기술로, 1인칭 시점에서 손의 위치와 자세를 3D로 추정하는 문제에 대해 높은 정확도를 달성했다. 주요 접근법은 Pre-trained Vision-Transformer(ViT)를 활용한 특징 추출과 다양한 Augmentation 기법을 적용한 것이다. 특히, Multi-view 데이터를 활용해 Occlusion 문제를 해결하고, Smoothing 기법과 앙상블을 통해 성능을 최적화했다. 최종 성능은 12.2mm MPJPE를 기록했으며, ViT와 ConvNext를 결합한 Multi-model fusion으로 정확도를 높였다.1st Place Solution of Egoc.. 리뷰/논문 리뷰 2024. 3. 17.

• Transposed / Symmetric / Diagonal Matrix Transposed / Symmetric / Diagonal Matrix 행렬의 연산에서 가장 많이 등장하는 개념인 Transposed / Symmetric / Diagonal Matrix에 대해 개념과 성질을 가볍게 알아보자. Transposed Matrix Transposed Matrix(전치 행렬)는 이름에서도 알 수 있듯이, 어떤 행렬에 Transpose(전치) 연산을 수행한 행렬이다. 여기서 전치 연산이란 행렬의 행과 열을 바꾸는 연산으로, m×n 행렬을 n×m 행렬로 바꾸게 된다. 곱 연산이 가능한 두 행렬 A, B에 대해 다음과 같은 성질이 성립한다. (AB)T=BTAT (A^{-1})^T = (A^T)^{-1} (이는 양변에 AT를 곱함.. ML&DL/Math for ML 2024. 3. 17.

• Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 V의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.