일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 자료구조
- 논문 리뷰
- 개발배경지식
- Semantic segmentation
- 그래프데이터
- 운영체제
- 머신러닝
- RL
- 데이터 검증
- IT
- TFDV
- OS
- 텐서플로우 익스텐디드
- ML 파이프라인
- 글또9기
- reinforcement learning
- CVPR
- 딥러닝
- mdp
- 데이터 전처리
- agent
- 선형대수학
- TFX
- 강화학습
- 그래프씽킹
- recsys
- Stack
- MLOps
- data structure
- 윤성우의 열혈 자료구조
Archives
- Today
- Total
목록SGD (1)
성장通
최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam
최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 신경망의 손실 함수가 복잡한 경우, 학습의 기본 최적화 알고리즘인 경사 하강법(Gradient Descent)과 미니 배치 훈련 방식으로 변형된 확률적 경사 하강법(Stochastic Gradient Descent, 이하 SGD)만으로는 최적해를 찾기 어려울뿐더러 학습 속도 또한 느리다. 이러한 한계를 극복하기 위해 확률적 경사 하강법을 변형한 많은 알고리즘이 제안되었다. 그중 주요 최적화 알고리즘인 SGD 모멘텀, 네스테로프 모멘텀, AdaGrad, RMSProp, Adam을 살펴보도록 하자. 확률적 경사 하강법의 문제점 확률적 경사 하강법의 개선 알고리즘들을 살펴보기 전에, 확률적 경사 하강법에는 어떠한 문제점이 있는지..
ML&DL/ML DL 기본기
2024. 1. 6. 23:43