딥러닝10

왜 RNN보다 트랜스포머가 좋다는걸까? (feat. 혁펜하임의 Easy! 딥러닝) 왜 RNN보다 트랜스포머가 더 강력한가? (feat. 혁펜하임의 Easy! 딥러닝)시계열 데이터를 다룰 때 가장 먼저 배우는 것은 RNN이다. RNN은 가장 기본적인 모델인 만큼 필수적으로 배우고 넘어가야 하는 개념 중 하나인데, 사실 대부분의 논문을 보면 RNN을 그대로 쓰는 경우는 거의 없다. 그 대신 트랜스포머(Transformer)를 주로 사용하곤 하는데, 이 트랜스포머의 어떤 점이 RNN을 대체하고 있는지 간단하게 정리해 보았다.연속적인 데이터와 RNN의 등장연속적인 데이터를 다룰 때 가장 중요한 개념 중 하나가 토크나이징(Tokenizing)이다. 자연어 처리(NLP)에서 문장을 의미 있는 단위로 나누는 과정은 필수적이며, 이를 효과적으로 수행하는 것이 모델 성능에 직접적인 영향을 미친다. 예.. 개인공부&프로젝트 2025. 2. 15.

지능과 인공 신경망 지능과 인공 신경망 지능(intelligence)은 '어떤 문제에 당면했을 때 자신의 지식과 경험을 활용해서 문제를 해결하는 능력'을 의미한다. 지능을 가진 생물체는 자신의 경험을 활용하여 문제를 해결하거나, 때로는 아예 새로운 방식을 찾아내기도 한다. 즉, 지능은 광범위한 인식 능력과 문제 해결 능력을 포괄한다고 할 수 있다. 인간의 인지 능력과 호기심 인간은 지능이 굉장히 높은 생명체이다. 그런 만큼 세상을 인지하는 능력이 탁월하며, 인간만이 가지는 특성은 대부분 이러한 높은 인지 능력으로부터 비롯된다. 인간은 자신이 처한 상황을 포괄적으로 파악할 뿐만 아니라 과거를 회상하고 아직 일어나지 않은 미래를 상상하며 과거, 현재, 미래를 통합적으로 이해한다. 그 안에서 인간은 인과적 사고를 통해 문제를 자.. ML&DL/ML DL 기본기 2022. 5. 25.

[리뷰] 머신러닝 실무 프로젝트 2판 * 한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. 머신러닝 실무 프로젝트 (Machine Learning at Work) 2판 아리가 마치아키, 나카야마 신타, 니시바야시 다카시 저 / 김모세 역 머신러닝 실무 프로젝트 - YES24 어디서든 환영받는 ‘실무형 머신러닝’ 비법온라인 강의, 책, 대학 연구만으로는 실제 비즈니스에 머신러닝을 어떻게 적용할 것인지, 어떤 경우에 머신러닝 기법과 데이터 분석 방법을 적용해 www.yes24.com 간단 서평 소규모 스타트업에서 ML Engineer로 일을 하며 모델 학습부터 배포까지 전반을 다루게 되었고, 이로부터 단순 연구를 벗어난 '머신러닝 실무'에 관심을 가지게 되었다. 그러나 MLOps 관련 서적들은 다소 허들이 높았고, DevOps 지식이 .. 리뷰/도서, 강의 리뷰 2022. 4. 14.

[리뷰] 파이토치 딥러닝 프로젝트 모음집 * 해당 서평은 비제이리퍼블릭 서평 이벤트를 통해 제공받은 '한 줄씩 따라 해보는 파이토치 딥러닝 프로젝트 모음집'에 대한 서평입니다. 파이토치 딥러닝 프로젝트 모음집 투빅스 / 이경택 외 8인 지음 한 줄씩 따라 해보는 파이토치 딥러닝 프로젝트 모음집 - YES24 이미지, 텍스트, 음성, 영상 등 실생활 데이터를 활용한실전 딥러닝 프로젝트 모음집!시중에 딥러닝을 가르쳐주는 입문책은 많습니다. 하지만 실제로 우리가 흔히 다루는 날것의 데이터를 활용 www.yes24.com 간단 서평 이 책을 펼쳤을 때 가장 먼저 든 생각은, 책이 참 친절하다 였다. 이론만 주구장창 이야기하면 독자들이 지루해할 것이라는 것을 알고 있기라도 한 듯, 핵심적인 내용만을 정확하고 쉽게 설명해두었다. 흥미로운 사례와 깔끔한 모.. 리뷰/도서, 강의 리뷰 2022. 4. 9.

회귀분석 회귀분석 지도 학습 (Supervised Learning) Y = f(X)에 대하여 입력 변수 X와 출력 변수 Y의 관계에 대하여 모델링하는 것 회귀(regression): 입력 변수 X에 대해서 연속형 출력 변수 Y를 예측 분류(classification): 입력 변수 X에 대해서 이산형 출력 변수 Y를 예측 회귀분석 입력 변수인 X의 정보를 활용하여 출력 변수인 Y를 예측하는 방법으로, 크게 선형회귀분석 / 비선형회귀분석으로 나뉜다. 1. 단순 선형 회귀분석 입력 변수가 X, 출력 변수가 Y일때, 단순 선형 회귀의 회귀식은 위와 같다. 위 식에서 $\beta_0$는 절편(intercept), $\beta_1$은 기울기(slope)이며, 둘을 통틀어 회귀계수(coefficients)라고 한다.($\ep.. ML&DL/ML DL 기본기 2021. 12. 11.

통계학 기초: 회귀분석을 위한 통계 회귀분석을 위한 통계 0. 통계학이란? 통계학의 전반적인 이해를 위해서는 모집단과 표본에 대해 알아야 한다. 모집단 (Population) 연구의 대상이 되는 모든 개체들을 모은 집합 일반적으로 시간적, 공간적 제약으로 인해 모집단 전체를 대상으로 한 분석은 불가능하다. 표본 (Sample) 모집단 일부의 관측값들 각각의 집단에서 우리가 관심 있게 봐야 할 것들은 다음과 같다. 모수 (Parameter) 수치로 표현되는 모집단의 특성 모집단의 요약 값이라고 할 수 있다. ex - 모집단의 평균, 분산 등 통계량 (Statistic) 표본의 관측값들에 의해서 결정되는 양 추정량 모수를 추정하기 위한 목적을 가진 통계량 1. 자료의 종류 통계학에서 주로 다루는 자료는 크게 두 가지로 나눌 수 있다. 수치형 .. ML&DL/ML DL 기본기 2021. 12. 8.

과적합(Overfitting) 과적합(Overfitting) 1. 과적합이란 학습 데이터에 대해서는 높은 정확도를 보이지만, 검증 데이터 혹은 테스트 데이터에 대해서는 정확도가 낮은 경우를 의미한다. 복잡한 모형일수록, 데이터가 적을수록 과적합이 일어나기 쉽다. 과적합은 데이터 사이언스뿐만 아니라 AI 전반적으로 매우 큰 이슈 아래 그림은 회귀분석에서 고차항을 넣었을 때 만들어지는 직선 2. 분산(Variance)과 편파성(Bias) 3. 분산과 편파성의 트레이드오프(Tradeoff) 딜레마 분산과 표준편차가 모두 낮은 경우 (좌측 상단) 거의 존재하지 않는, 가장 이상적인 상황이다. 타깃 값에 높은 정확도를 가지고 적중함을 확인할 수 있다. 분산과 표준편차가 모두 높은 경우 (우측 하단) 예측값이 한 곳에 모이지도 않았고 타깃 값에.. ML&DL/ML DL 기본기 2021. 12. 7.

모델 적합성 평가 및 실험설계 모델의 적합성 평가 및 실험설계 0. 용어 설명 MSE(mean squared error) 평균 제곱 오차. 예측값과 실제값 사이의 오차(잔차)의 제곱에 대한 평균 회귀 모형의 예측력을 평가하기 위해 예측 값과 실제 값이 유사한지 평가할 수 있는 척도로, 숫자가 작을수록 더욱 정확한 모델이라고 판단한다. 이외에도 Average error, MAE, MAPE, RMSE 등이 있다. Overfitting 과적합. 머신러닝에서, 학습 데이터를 과하게 학습하는 것을 뜻한다. 실제 데이터의 부분집합인 학습 데이터에 대해서는 오차가 감소하지만, 실제 데이터에 대해서는 오차가 증가하게 된다. Underfitting 과적합의 반대 개념. 과소 적합이라고도 불림. 학습 데이터가 충분치 않거나 학습이 제대로 이루어지지 않.. ML&DL/ML DL 기본기 2021. 12. 5.

머신러닝 기법 구분: 지도학습, 비지도 학습, 강화학습 머신러닝 기법 구분 머신러닝 기법은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning)으로 분류할 수 있다. 이중 지도 학습과 비지도 학습은 전통적인 머신러닝 기법으로 분류되며, 강화 학습은 보는 이에 따라 머신러닝과 별개의 분야로 보기도 한다. 지도 학습과 비지도 학습의 가장 큰 차이점은 학습 과정에 있어 전문가가 개입하여 학습을 '지도'하는지라고 할 수 있다. 가장 보편적인 지도 학습 방법은 입력 데이터에 대한 정답을 사전 정의하여 학습 데이터로 제공하는 것으로, 모델은 자신의 예측과 실제 정답을 비교하며 오차를 줄이는 방향으로 학습을 진행한다. 지도 학습은 다시 회귀(regression).. ML&DL/ML DL 기본기 2021. 12. 2.

머신러닝의 개념과 종류 (+딥러닝의 장단점) 머신러닝(Machine Learning)이란 What is Machine Learning? 무엇(x)으로 무엇(y)을 예측하고 싶다! 인공지능, 머신러닝, 딥러닝 정의 인공지능(Artificial Intelligence, AI)이란 '문제를 인식하고 해결하는 능력인 지능을 인공적으로 구현한 것'을 의미한다. 생물체가 가지는 고유 능력인 지능을 기계에게 부여하고자 하는 시도가 바로 인공지능인 것이다. 인공지능의 하위 집합으로는 머신러닝(Machine Learning, ML)이 있다. 이는 단어 그대로 '기계가 스스로 학습'하여 지능을 습득하는 방식이다. 머신러닝은 학습 알고리즘을 통해 데이터에 숨겨진 정보와 규칙을 학습하고 이를 바탕으로 새로운 것을 예측하고 추론하는 기술이다. 머신러닝의 하위 집합에는 딥.. ML&DL/ML DL 기본기 2021. 12. 1.

이전 1 다음

티스토리툴바