전체 글155

• 

  [Paper Review] RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation (Lin et al., 2017) RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation Guosheng Lin, Anton Milan, Chunhua Shen, Ian Reid; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 1925-1934 Abstract 지금까지 리뷰한 논문들은 성공적인 Semantic Segmentation을 위해 이미지 처리의 자타공인 강자, CNNs를 수정한 구조들을 제시하였다. 기본적인 CNN은 층을 거칠수록 resolution이 낮아진다는 문제를 해결하기 위해 Upsampling이나 Dil.. 리뷰/논문 리뷰 2022. 7. 29.

• 

  [Paper Review] Dilated Residual Networks (Yu et al., 2017) Dilated Residual Networks Fisher Yu, Vladlen Koltun, Thomas Funkhouser; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 472-480 Abstract 2016년에 공개된 DilatedNet(리뷰)에 이어 등장한 모델 구조이다. Semantic Segmentation은 물론, 모델의 깊이나 복잡성 증가 없이 Image Classification에서도 좋은 성능을 낼 수 있는 DRN은 Dilated Convolution 개념에 잔차(Residual) 개념을 더한 구조이다. 2022년 7월 기준 약 1,200회 이상의 인용 수를 보.. 리뷰/논문 리뷰 2022. 7. 26.

• 

  [Paper Review] Multi-Scale Context Aggregation by Dilated Convolutions (Yu et al., 2016) Multi-Scale Context Aggregation by Dilated Convolutions Fisher Yu, Vladlen Koltun; Published as a conference paper at ICLR 2016 Abstract 이번 논문은 Dilated Convolution을 제안하여, 이미지의 resolution 손실을 최소화하며 receptive field를 확장할 수 있도록 한 논문이다. 이전에 리뷰했던 논문인 DeepLab과 풀고자 하는 문제도 비슷하고, Hole 알고리즘을 사용했다는 점도 비슷하지만, backbone 역할을 하는 Front-end module과 dilated convolution으로 이루어진 Context module로 나눠져 있다는 점이 독특한 점이다. 해당 .. 리뷰/논문 리뷰 2022. 7. 23.

• 

  [Paper Review] Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs (Chen & Papandreou et al., 2015) Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille; Published as a conference paper at ICLR 2015 * 위 논문에서 처음 제안된 구조인 DeepLab은 몇 번의 수정을 거치며 발전하였고, 이에 따라 v1부터 v3+까지 버전이 나뉘어있다. 이하 리뷰는 v1을 기준으로 한다. Abstract Deep Convolution Neural Networks(이하 DCNNs)는 Image Classification, Object Detecti.. 리뷰/논문 리뷰 2022. 7. 21.

• 

  [Paper Review] Learning Deconvolution Network for Semantic Segmentation (H Noh, S Hong, B Han, 2015) Learning Deconvolution Network for Semantic Segmentation Hyeonwoo Noh, Seunghoon Hong, Bohyung Han; Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1520-1528 Abstract 이번 논문은 FCN에 이어 등장한 Semantic Segmentation 분야 논문으로, Max Unpooling 개념을 활용해 기존 FCN이 Upsampling에 과도하게 의존한 탓에 큰 Object와 작은 Object에 대해서 Segmentation을 제대로 하지 못하는 문제를 해결한 논문이다. 해당 논문은 FCN의 문제가 고정된 Recep.. 리뷰/논문 리뷰 2022. 7. 19.

• 

  [Paper Review] Fully Convolutional Networks for Semantic Segmentation (Long & Shelhammer et al., 2015) Fully Convolutional Networks for Semantic Segmantation Jonathan Long, Evan Shelhamer, Trevor Darrell; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 3431-3440 Abstract 이번 논문은 2015년에 공개된 Semantic Segmentation 분야 논문으로, 각 픽셀 별로 일정한 Bounding Box 크기만큼 Classification을 적용하여 해당 픽셀의 종류를 추론하는 기존 접근 방식을 획기적으로 바꾼 논문이다. 기존에 사용되던 Fully Connected Layer 대신 1x1 Co.. 리뷰/논문 리뷰 2022. 7. 16.

• 

  다중 분류 모델과 카테고리 분포 다중 분류 모델과 카테고리 분포 다중 분류 문제는 주사위를 굴렸을 때 각 면이 나올 확률을 계산하는 문제처럼, 세 개 이상의 결과를 가지는 상황에서 각 결과의 확률을 구하는 문제이다. 이러한 다중 분류의 확률분포는 카테고리 분포(Categorical distribution)을 따르므로, 다중 분류 모델은 카테고리 분포를 예측하는 모델로 정의할 수 있다. 카테고리 분포 카테고리 분포는 베르누이 분포를 일반화한 분포로, K개의 사건의 확률을 표현한다. $$p(x|\mu)=\Pi^K_{k=1} \mu_k^{x_k}$$ $$\mu = (\mu_1, \mu_2, ..., \mu_K)^T, \ \Sigma^K_{k=1}\mu_k=1$$ $$ x = (x_1, x_2, ..., x_K)^T, \ x_k = 1.. ML&DL/ML DL 기본기 2022. 7. 13.

• 

  [리뷰] 살아 움직이는 머신러닝 파이프라인 설계 살아 움직이는 머신러닝 파이프라인 설계 (Building Machine Learning Pipelines) 하네스 하프케, 캐서린 넬슨 저 / 송호연 역 살아 움직이는 머신러닝 파이프라인 설계 - YES24 효율의 끝판왕, 머신러닝 파이프라인으로 가장 손쉽게 자동화를 구축하는 방법!많은 기업이 머신러닝 프로젝트에 수백억씩 투자한다. 안타깝지만 모델을 효과적으로 배포하지 못하면 엄청난 www.yes24.com 간단 서평 복잡한 MLOps를 TFX 생태계 하나로 컴팩트하게 다룬 책이다. 기존의 강의나 책들은 다소 파편화되어 있어 MLOps 그 자체와 툴 사용법 그 사이 어딘가 모호한 위치를 배우는 것 같았다면, 이 책은 MLOps가 어떻게 구성되고 어떻게 동작하는 것인지 명확하게 설명하고 있다. 이와 동시에.. 리뷰/도서, 강의 리뷰 2022. 7. 12.

• 

  이진 분류 모델과 베르누이 분포 이진 분류 모델과 베르누이 분포 이진 분류 문제는 동전 던지기처럼 두 가지 종류의 결과값을 가지는 문제에서 각각의 확률을 예측하는 문제이다. 이때 각 결과가 나올 확률의 확률분포는 베르누이 분포(Bernoulli distribution)로 정의되므로, 이진 분류 모델은 베르누이 분포를 예측하는 모델이라고 할 수 있다. 베르누이 분포 베르누이 분포는 두 종류의 사건이 발생할 확률을 나타내며 다음과 같은 식으로 정의된다. $$p(x; \mu) \mu^x(1-\mu)^{1-x},\ x\in 0,1$$ $x$는 확률변수로 0 또는 1의 값을 가지며 $x=0$은 사건 1을, $x=1$은 사건 2를 나타낸다. 또한 $\mu$는 사건 발생확률을 나타내며, 그 중 $x=1$일 때의 확률 즉, 사건 2의 발생확률을 .. ML&DL/ML DL 기본기 2022. 7. 6.

• 

  [리뷰] 똑똑한 코드 작성을 위한 실전 알고리즘 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 똑똑한 코드 작성을 위한 실전 알고리즘 (Learning Algorithms) 조지 하이네만 저, 윤대석 역 똑똑한 코드 작성을 위한 실전 알고리즘 - 교보문고 파이썬 예제로 문제 해결 전략 익히기 | 핵심만 골라 확실하게 익히는 파이썬 알고리즘 알고리즘 학습에서 가장 중요한 것은 문제 해결 능력입니다. 단순히 각 알고리즘의 기능을 개별적으로만 www.kyobobook.co.kr 간단 서평 오레일리 자료구조&알고리즘 시리즈 3대장의 핵심을 담아낸 파이썬 알고리즘 실전서다. 코딩 테스트를 준비하는 프로그래머 지망생은 물론, 현업에서 일하고 있는 실무자, 그리고 전문적인 개발을 하지 않는 연구자에게까지 도움이 되는 내용들로 알차게 구성되어 있다... 리뷰/도서, 강의 리뷰 2022. 6. 29.

• 

  분류와 회귀 분류와 회귀 순방향 신경망으로 모델을 설계하기 위해서는 기본적으로 모델의 입출력 형태, 활성 함수의 종류, 네트워크 크기 등을 고려해야한다. 이 중 입출력 형태는 풀고자 하는 문제가 정의되면 자동으로 정의되는 것이 일반적이지만, 활성 함수의 종류와 네트워크 크기 등은 검증을 하는 절차가 필요하다. 이를 모델 검증 단계라고 하며, 하이퍼파라미터(hyper-parameter) 탐색을 하여 최적의 모델을 찾아낸다. 이러한 설계 과정을 이해하기 위해 지도 학습의 대표적인 문제인 분류 문제와 회귀 문제를 살펴보자. 분류는 범주형 데이터를 예측하는 문제이고, 회귀는 숫자형 데이터를 예측하는 문제라고 요약할 수 있다. 분류 문제 분류(classification) 문제는 데이터의 클래스(class) 또는 카테고리(ca.. ML&DL/ML DL 기본기 2022. 6. 22.

• 

  범용 함수 근사기로서의 신경망 범용 함수 근사기로서의 신경망 뉴런은 가중 합산과 활성 함수를 순차 실행하는 합성 함수이므로, 뉴런의 그룹인 계층 또한 합성 함수이고 계층을 순차적으로 쌓은 신경망 역시 합성 함수이다. 이때 뉴런은 실함수로 정의되고, 계층과 신경망은 벡터함수로 정의된다. 실함수와 벡터함수 실함수(real-valued function)는 크기가 n인 벡터 $x^T=(x_1, x_2, x_3, ... , x_n)$를 입력으로 하며 실수 $f(x)=f(x_1, x_2, ... , x_n)$를 출력을 갖는 $f: \mathbb{R}^n\rightarrow \mathbb{R}$ 형태의 함수이다. 벡터함수(vector function)는 크기가 n인 벡터 $x^T=(x_1, x_2, x_3, ... , x_n)$를 입력으로 하며 .. ML&DL/ML DL 기본기 2022. 6. 15.