일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 전처리
- 운영체제
- agent
- 개발배경지식
- 논문 리뷰
- Stack
- 선형대수학
- 머신러닝
- CVPR
- RL
- 딥러닝
- recsys
- OS
- IT
- MLOps
- mdp
- 그래프씽킹
- 데이터 검증
- 그래프데이터
- Semantic segmentation
- reinforcement learning
- 윤성우의 열혈 자료구조
- 텐서플로우 익스텐디드
- 강화학습
- 글또9기
- TFX
- data structure
- 자료구조
- ML 파이프라인
- TFDV
Archives
- Today
- Total
목록RMSProp (1)
성장通
최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam
최적화 알고리즘 - SGD, 네스테로프, AdaGrad, RMSProp, Adam 신경망의 손실 함수가 복잡한 경우, 학습의 기본 최적화 알고리즘인 경사 하강법(Gradient Descent)과 미니 배치 훈련 방식으로 변형된 확률적 경사 하강법(Stochastic Gradient Descent, 이하 SGD)만으로는 최적해를 찾기 어려울뿐더러 학습 속도 또한 느리다. 이러한 한계를 극복하기 위해 확률적 경사 하강법을 변형한 많은 알고리즘이 제안되었다. 그중 주요 최적화 알고리즘인 SGD 모멘텀, 네스테로프 모멘텀, AdaGrad, RMSProp, Adam을 살펴보도록 하자. 확률적 경사 하강법의 문제점 확률적 경사 하강법의 개선 알고리즘들을 살펴보기 전에, 확률적 경사 하강법에는 어떠한 문제점이 있는지..
ML&DL/ML DL 기본기
2024. 1. 6. 23:43