전체 글156

• Rank, Basis, Span (+ Gram-Schmidt Process) Rank, Basis, Span Rank, Basis 그리고 Span은 선형 대수학에서의 핵심 개념 중 하나이다. 이는 행렬 기반으로 연산이 수행되는 대부분의 머신러닝 개념의 근간이 되므로 잘 알아두는 것이 좋다. Rank Rank(랭크)는 행렬에서 선형 독립(일차 독립)인 행 또는 열의 최대 개수를 의미한다. 이는 또한 행렬이나 벡터 공간의 벡터로 만들 수 있는 부분 벡터 공간의 차원이다. 행렬의 실제 행 또는 열의 개수가 랭크보다 크다면 일부 벡터가 서로 선형 종속(일차 종속) 관계임을 알 수 있다. *일차 독립, 일차 종속이란? 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 V의 공집합이 아닌 부.. ML&DL/Math for ML 2024. 3. 16.

• 

  [Paper Review] Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data TL;DR이 논문은 단안 깊이 추정을 위한 Foundation Model인 'Depth Anything'을 제시한다. 1.5M의 라벨된 이미지와 6,200만 개 이상의 unlabeled 이미지를 pseudo label로 활용하여 성능을 향상시켰다. Semantic Segmentation 모델을 보조 태스크로 사용하고, DINOv2의 pretrained weights로 인코더를 초기화하였다. Affine-invariant Loss와 CutMix 등 다양한 augmentation을 적용하여 Teacher-Student 구조로 학습하였다. 그 결과, 다양한 unseen dataset에서 SOTA 성능을 달성하였다. 하지만 저자들만의 특별한 Novelty가 부족하며, 대규모 unlabeled dataset의 잠.. 리뷰/논문 리뷰 2024. 3. 3.

• 

  [리뷰] 딥러닝의 정석 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 딥러닝의 정석 니틴 부두마, 니킬 부두마, 조 파파 저 최재훈, 차성재 옮김 딥러닝의 정석 - 예스24 선형대수학과 확률로 시작하는 딥러닝의 정석 실전에서의 구현을 위한 파이토치 기반 소스 코드 제공 『딥러닝의 정석 (2판)』은 딥러닝의 기본과 본질에 집중하여 독자들이 폭넓은 이론과 실 www.yes24.com 간단 서평 2022년 ChatGPT의 등장 이래 AI 기술이 급격히 발전하며 '인공지능'의 개념은 일상 속으로 깊이 침투했고, 그중에서도 '딥러닝'에 대한 관심도는 기하급수적으로 늘어났다. 과거에는 일부 규모가 있는 기업에서만 인공지능 기술을 연구하고 서비스하였지만 요즘에는 대기업은 물론 작은 스타트업에서도 인공지능 서비스를 심심치 않.. 리뷰/도서, 강의 리뷰 2024. 2. 24.

• 

  06. 관계형을 그래프로 관계형을 그래프로 전 세계의 기술 팀은 데이터 관리 문제를 해결하는 방법 중 하나로 그래프 데이터를 채택하고 있다. 그래프 데이터 형식이 기존의 관계형 솔루션 대비 가지는 이점은 데이터 내 관계 모델링, 저장 그리고 검색을 하는데에 있어 유용성을 들 수 있다. 이러한 이점이 부각되는 문제에서 관계형 솔루션을 사용하고 있었다면 그래프 데이터 솔루션으로의 이동을 고려해 볼 만하다. 하지만 이를 위해서는 데이터의 변환 및 통합이 필요한데, 관계형으로 구축된 데이터를 처리하는 과정에서 종종 어려움을 겪곤 한다. 이러한 어려움을 최소화하기 위해, 우리는 그래프 데이터 어플리케이션을 시작하기 위한 공통 과정을 정의하고 표준화할 것이다. 또한 Customer360(이하 C360) 예제를 이용해 관계형과 그래프 기술을.. 그래프/그래프 데이터 2024. 2. 18.

• 

  서비스를 고려한 추천시스템 성능 평가 방법 서비스를 고려한 추천시스템 성능 평가 방법론 일반적인 머신러닝과 마찬가지로, 추천시스템 또한 실제 서비스에 배포하기 전에 성능을 평가함으로써 모델의 안정성을 확인할 수 있다. 그러나 추천시스템의 경우 평가 방식이 일반적인 모델과 다소 다른 평가 방법을 가지기도 하며, 실제 서비스에 적용할 때 고려해야 될 사항이 좀 더 많은 편이다. 가장 먼저 '추천'이란 태스크의 특성상 정답이 모호한 경우가 많으며 실제 서비스에 적용할 경우 트렌드의 변화에 따른 인기 상품의 변화와 같은 이유로 모델의 성능과 별개로 사용자 만족도가 급격히 감소하거나 Long-tail 문제, False Positive 문제와 같이 결과의 Skew를 일으킬 수 있는 문제 또한 존재한다. 그렇다면, 추천시스템은 어떻게 평가해야 하고, 또 어떻.. ML&DL/추천시스템 2024. 2. 12.

• 

  [리뷰] 한경무크 CES 2024 *한경MOOK로부터 도서를 제공 받아 작성된 리뷰입니다. 한경무크 CES 2024 손재권 외 4인 저 한경무크 CES 2024 | 손재권 - 교보문고 한경무크 CES 2024 | ‘한국경제신문 X 더밀크’ CES 콘텐츠 최강자들이 만났다!★ 12년째 취재! CES 전문가 더밀크 손재권 대표의 CES 2024 심층 리뷰 ★ ★ CES 2024에서 포착한 주목해야 할 키 인사이트 product.kyobobook.co.kr 간단 서평 글로벌 테크 트렌드를 알고 싶다면 고개를 들어 CES를 보아라! 1960년대부터 매년 개최되어 온 CES(The International Consumer Electronics Show)는 전세계의 신기술들이 한 자리에 모이는 글로벌 전자제품 박람회이다. 처음에는 TV, 오디오나 .. 리뷰/도서, 강의 리뷰 2024. 2. 9.

• 

  05. 그래프의 다중성 그래프의 다중성 그래프 모델링을 진행하다 보면 두 정점 레이블 간 관계가 여러 개 존재하는 경우가 종종 있다. 대다수의 그래프 데이터베이스에서는 모든 간선 레이블을 다대다로 표현하며, 이렇게 표현된 모든 정점은 특정 간선 레이블을 사용해 다른 많은 정점과 연결될 수 있다. ERD에서는 이를 many-to-many라고 부르며 UML에서는 0..* to 0..*라 표현한다. 이러한 개념이 바로 다중성(multiplicity)이다. 다중성이란, 그룹이 가질 수 있는 최대 허용 cardinality 범위를 가리키는 말로, 인접한 정점 그룹이 한 정점 그룹과 맺을 수 있는 간선 레이블 수의 최대치를 가리킨다. 그래프 스키마 언어로 다중성 모델링하기 그래프 스키마에 다중성을 적용하려면 인접한 정점 그룹의 종류를 이.. 그래프/그래프 데이터 2024. 2. 3.

• 

  04. 그래프 스키마 언어 그래프 스키마 언어 그래프를 공부하다보면 이를 이해하는 주체에 따라 다르게 해석되는 용어들이 존재한다. 이로 인해 발생하는 오해와 소통 오류를 방지하기 위해 그래프 스키마를 설명하는 공식 용어가 있는데, 이를 그래프 스키마 언어(Graph Schema Language, GSL)라고 한다. 그래프 스키마 언어는 그래프 데이터베이스 스키마를 만들기 위해 개념을 적용하는 시각적 언어로, 개념적 그래프 모델, 그래프 스키마, 그래프 데이터베이스를 설계하고 공유하며 소통을 돕기 위해 사용된다. 정점 레이블과 간선 레이블 정점과 간선이 그래프의 필수 요소 중 하나인만큼, 그래프 스키마 언어에서도 첫 번째로 알아야할 것을 꼽자면 정점 레이블(vertex label)과 간선 레이블(edge label)을 들 수 있다... 그래프/그래프 데이터 2024. 1. 28.

• 

  03. 관계형에서 그래프 씽킹으로 관계형에서 그래프 씽킹으로 그래프를 도입하여 그래프 씽킹을 시작하기 전에 생각해봐야 할 세 가지 질문이 있다. 관계형 기술보다 그래프 기술이 문제 해결에 더 적합한가? 데이터를 어떻게 그래프로 사고할 수 있는가? 그래프 스키마는 어떻게 모델링하는가? 이 세 가지 질문을 이해하고 답변하기 위해 많은 시간을 투자한다면 그래프 기술을 성공적으로 도입할 수 있을 것이다. 그럼 이러한 질문들을 이해하기 위해 다음을 살펴보도록 하자. 질문에 답하기 위해, 이번 포스팅에서 관계형 기술과 그래프 기술의 차이점을 알아보고 예제 데이터를 두 가지 방식으로 생각해 볼 것이다. 또한 다음 포스팅에서 그래프 스키마 언어를 알아보고 이를 이용하여 그래프 스키마 모델링을 진행해 볼 것이다. 마지막으로 이를 종합하여 관계형과 그래프.. 그래프/그래프 데이터 2024. 1. 21.

• 

  최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 신경망의 손실 함수가 복잡한 경우, 학습의 기본 최적화 알고리즘인 경사 하강법(Gradient Descent)과 미니 배치 훈련 방식으로 변형된 확률적 경사 하강법(Stochastic Gradient Descent, 이하 SGD)만으로는 최적해를 찾기 어려울뿐더러 학습 속도 또한 느리다. 이러한 한계를 극복하기 위해 확률적 경사 하강법을 변형한 많은 알고리즘이 제안되었다. 그중 주요 최적화 알고리즘인 SGD 모멘텀, 네스테로프 모멘텀, AdaGrad, RMSProp, Adam을 살펴보도록 하자. 확률적 경사 하강법의 문제점 확률적 경사 하강법의 개선 알고리즘들을 살펴보기 전에, 확률적 경사 하강법에는 어떠한 문제점이 있는지.. ML&DL/ML DL 기본기 2024. 1. 6.

• 빈도주의 V.S. 베이즈주의 (feat. 조건부독립) 빈도주의 V.S. 베이즈주의 빈도주의(Freqatist) 빈도주의(Freqatist)는 철저히 데이터에 기반을 둔 개념으로, 확률을 사건의 빈도로 보는 주의를 의미한다. 빈도론자들은 특정한 사건이 얼만큼 빈번하게 반복되어 발생하는가를 관찰하고 가설을 세워 모델을 만들고 검증한다. 예를 들어, '주사위를 던질 때 6이 나올 확률'을 계산하기 위해 무수히 많이 주사위를 굴려보고 그 통계를 확인할 수 있다. 빈도주의에서는 이와 같이, 특정 사건의 확률을 계산하기 위해 가장 이상적인 방법은 무수한 시행이라고 주장한다. 다만, 이와 같은 방법은 물리적 한계가 존재할 뿐만 아니라 실제 실험에 적용되는 외부 요인이 너무나 많기 때문에 실제로 사용하기에는 무리가 있는 방법이다. 여러 번의 실험 및 관찰을 통해 알게된 .. ML&DL/Math for ML 2024. 1. 3.

• 일차결합, 일차종속, 일차독립 일차결합, 일차종속, 일차독립 일차결합 일차결합(Linear Combination)의 정의는 다음과 같다. 벡터공간 V의 공집합이 아닌 부분공간 S에 속하는 유한 개의 벡터 u1,...,uk와 유한 개의 스칼라 a1,...,ak에 대하여 다음과 같은 벡터 v를 S의 일차결합(Linear combination)이라 한다. v=a1u1+...+akuk 이때, v는 벡터 u1,...,uk의 일차결합이며 a1,...,ak를 계수(Coefficient)라고 한다. * 여기서, 정의에 따라 벡터 한 개와 스칼라의 곱 또한 일차결합에 해당함에 유의하자. 부분 공간의 정의에 따라, S의 모든 일차결합은 V에 속한다. 증명) $.. ML&DL/Math for ML 2024. 1. 1.