전체 글153

• 

  [글또 X Udemy] 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기 랭체인 - LangChain 으로 LLM 기반 애플리케이션 개발하기 나는 현재 카일(변성윤)님이 운영 중이신 개발자 글쓰기 커뮤니티인 '글또'에서 9기 멤버로 활동 중이다. 글또는 기술 블로그를 운영하는 데에 관심이 많은 개발자와 여러 IT 관련 직군들이 모여있는 커뮤니티로, 약 5개월간 2주에 한 번 이상 퀄리티 있는 글을 쓰고 이를 서로 공유하는 커뮤니티이다. * 글또(개발자 글쓰기 모임) 소개 글또(개발자 글쓰기 모임) 소개 | 글또 Document글또 소개geultto.github.io 이번 기수에는 유명한 온라인 교육 플랫폼 Udemy에서 글또 멤버들에게 1개 내지는 2개의 강의를 후원해주었고, 나는 당시 LLM 기반 서비스를 만들어보고자 했었기에 '랭체인 - LangChain 으로 LLM 기반.. 리뷰/도서, 강의 리뷰 2024. 4. 26.

• 트랜스포머 기반 LLM 동작 원리 톺아보기 트랜스포머 기반 LLM의 동작 원리 톺아보기 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포.. 카테고리 없음 2024. 4. 14.

• ALS, k-NN, Neural CF ALS: Alternating Least Square ALS는 Matrix Factorization 방법 중 하나로, 대규모 데이터셋을 처리할 때 모든 변수를 동시에 최적화하는 대신 한 번에 하나의 변수 세트를 고정하고 다른 변수 세트를 최적화하는 것이다. ALS는 특정 변수 세트를 고정하고 다른 세트를 최적화할 때, 이 최적화 과정을 여러 데이터 분할에 걸쳐 동시에 수행 가능 → 대규모 데이터셋에 대해 효율적인 병렬 처리 가능하다. 이와 같은 능력 덕에, 스케일 아웃이 비교적 용이하다. 또한 ALS는 Convex 목적함수 관점에서의 장점도 가진다. ALS에서 고정된 변수에 대해 다른 변수를 최적화할 때, 각 단계에서의 최적화 문제가 Convex 최적화 문제가 되어 Global minima에 도달할 수 .. ML&DL/추천시스템 2024. 3. 31.

• 

  [리뷰] 실무로 통하는 인과추론 with 파이썬 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 실무로 통하는 인과추론 with 파이썬 마테우스 파쿠레 지음 신진수, 가짜연구소 인과추론팀 옮김 박지용 감수 실무로 통하는 인과추론 with 파이썬 | 마테우스 파쿠레 - 교보문고 실무로 통하는 인과추론 with 파이썬 | 데이터 기반의 통찰력 있는 의사결정을 위한 인과추론, 효율적인 영향력 분석을 통한 성공적인 비즈니스 정책 결정온라인 마케팅 예산을 1달러 높이면 구 product.kyobobook.co.kr 간단 서평 '인과관계'는 일상에서도 자주 사용되는 단어이다. 하지만 이 인과관계라는 것은 생각보다 그렇게 만만히 볼 개념이 아니다. 예를 들어, 한 대형마트가 연말을 맞아 초특가 세일을 하는 경우를 살펴보자. 이러한 세일 이벤트를 진행.. 리뷰/도서, 강의 리뷰 2024. 3. 23.

• 

  고윳값 분해, 특이값 분해(SVD) 고윳값 분해, 특이값 분해 고윳값 분해와 특이값 분해는 두 가지 강력한 행렬 분해 방법으로, 행렬의 분해 및 재구성을 통해 데이터를 더 잘 이해하고 머신러닝 및 딥러닝 모델의 성능을 향상시킬 수 있는 도구 중 하나이다. 특히 특이값 분해는 데이터 차원의 축소 및 압축, 잠재 요인 모델링, 노이즈 제거, 특징 추출 등에 사용할 수 있는 방법이므로 잘 알아두는 것이 좋다. 고윳값 분해 정방 행렬 $A$의 고유벡터로 이루어진 행렬 $V$와 각 고윳값을 대각성분으로 갖는 행렬 $\Lambda$에 대해 다음과 같은 식이 성립한다. $$ AV = V\Lambda $$ 이때 만약 모든 고유벡터들이 선형 독립이라면 그 행렬의 고유벡터들이 벡터 공간의 기저를 형성한다는 것을 의미하며, 이러한 행렬의 고유벡터들을 열벡터로.. ML&DL/Math for ML 2024. 3. 21.

• 

  고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간 고윳값, 고유벡터, 고유공간은 선형대수학의 핵심 개념 중 하나이며 이는 특정 벡터 공간에 대한 핵심적인 정보를 주므로 명확히 알아둘 필요가 있다. 간단히 개념을 정리해 보자. 고윳값, 고유벡터 $n \times n$ 정방 행렬 $A$와 상수 $\Lambda$에 대하여 $Ax = \Lambda x$가 성립하는 0이 아닌 벡터 $x$가 존재할 때, 상수 $\Lambda$를 행렬 $A$의 고윳값(eigenvalue)라고 하며, $x$를 이에 대응하는 고유벡터(eigenvector)라고 한다. 고윳값은 최소 1개에서 최대 서로 다른 n개(행렬 $A$의 랭크의 수)까지 존재할 수 있으며, 행렬 $A$의 모든 고윳값 집합을 행렬 $A$의 스펙트럼(spectrum)이라고 한다. 또, 이 .. ML&DL/Math for ML 2024. 3. 20.

• 

  역행렬과 행렬식 역행렬과 행렬식 역행렬과 이의 존재 여부를 알 수 있는 행렬식은 선형 연립 방정식을 풀기 위해 매우 중요한 개념이다. 각각의 개념을 가볍게 알아보도록 하자. 역행렬 어떤 행렬과 곱했을 때 항등 행렬이 나오는 행렬을 그 행렬의 역행렬(Inverse Matrix)이라고 한다. 행렬 $A$의 역행렬은 $A^{-1}$과 같이 표현하며, 행렬 $A$가 orthogonal matrix라면 $A^T=A^{-1}$이 성립한다. 행렬 곱의 역행렬은 다음과 같이 정의된다. $$ (AB)^{-1}=B^{-1}A^{-1} $$ 어떤 행렬의 역행렬은 존재할 수도 있고 하지 않을 수도 있으나 존재한다면 유일하게 존재한다. 이때 이 존재 여부는 행렬식을 계산함으로써 알 수 있다. 행렬식 행렬식(Determinant)은 정사각 행렬.. ML&DL/Math for ML 2024. 3. 18.

• 

  1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 TL;DR이 솔루션은 ICCV 2023 Egocentric 3D Hand Pose Estimation Challenge에서 1위를 차지한 기술로, 1인칭 시점에서 손의 위치와 자세를 3D로 추정하는 문제에 대해 높은 정확도를 달성했다. 주요 접근법은 Pre-trained Vision-Transformer(ViT)를 활용한 특징 추출과 다양한 Augmentation 기법을 적용한 것이다. 특히, Multi-view 데이터를 활용해 Occlusion 문제를 해결하고, Smoothing 기법과 앙상블을 통해 성능을 최적화했다. 최종 성능은 12.2mm MPJPE를 기록했으며, ViT와 ConvNext를 결합한 Multi-model fusion으로 정확도를 높였다.1st Place Solution of Egoc.. 리뷰/논문 리뷰 2024. 3. 17.

• Transposed / Symmetric / Diagonal Matrix Transposed / Symmetric / Diagonal Matrix 행렬의 연산에서 가장 많이 등장하는 개념인 Transposed / Symmetric / Diagonal Matrix에 대해 개념과 성질을 가볍게 알아보자. Transposed Matrix Transposed Matrix(전치 행렬)는 이름에서도 알 수 있듯이, 어떤 행렬에 Transpose(전치) 연산을 수행한 행렬이다. 여기서 전치 연산이란 행렬의 행과 열을 바꾸는 연산으로, $m\times n$ 행렬을 $n\times m$ 행렬로 바꾸게 된다. 곱 연산이 가능한 두 행렬 $A$, $B$에 대해 다음과 같은 성질이 성립한다. $(AB)^T = B^TA^T$ (A^{-1})^T = (A^T)^{-1} (이는 양변에 $A^T$를 곱함.. ML&DL/Math for ML 2024. 3. 17.

• Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 $V$의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.

• 

  [Paper Review] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data TL;DR이 논문은 단안 깊이 추정을 위한 Foundation Model인 'Depth Anything'을 제시한다. 1.5M의 라벨된 이미지와 6,200만 개 이상의 unlabeled 이미지를 pseudo label로 활용하여 성능을 향상시켰다. Semantic Segmentation 모델을 보조 태스크로 사용하고, DINOv2의 pretrained weights로 인코더를 초기화하였다. Affine-invariant Loss와 CutMix 등 다양한 augmentation을 적용하여 Teacher-Student 구조로 학습하였다. 그 결과, 다양한 unseen dataset에서 SOTA 성능을 달성하였다. 하지만 저자들만의 특별한 Novelty가 부족하며, 대규모 unlabeled dataset의 잠.. 리뷰/논문 리뷰 2024. 3. 3.

• 

  [리뷰] 딥러닝의 정석 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 딥러닝의 정석 니틴 부두마, 니킬 부두마, 조 파파 저 최재훈, 차성재 옮김 딥러닝의 정석 - 예스24 선형대수학과 확률로 시작하는 딥러닝의 정석 실전에서의 구현을 위한 파이토치 기반 소스 코드 제공 『딥러닝의 정석 (2판)』은 딥러닝의 기본과 본질에 집중하여 독자들이 폭넓은 이론과 실 www.yes24.com 간단 서평 2022년 ChatGPT의 등장 이래 AI 기술이 급격히 발전하며 '인공지능'의 개념은 일상 속으로 깊이 침투했고, 그중에서도 '딥러닝'에 대한 관심도는 기하급수적으로 늘어났다. 과거에는 일부 규모가 있는 기업에서만 인공지능 기술을 연구하고 서비스하였지만 요즘에는 대기업은 물론 작은 스타트업에서도 인공지능 서비스를 심심치 않.. 리뷰/도서, 강의 리뷰 2024. 2. 24.