일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- RL
- data structure
- 선형대수학
- 텐서플로우 익스텐디드
- 운영체제
- mdp
- TFX
- Stack
- 그래프씽킹
- recsys
- 머신러닝
- 강화학습
- agent
- 데이터 검증
- OS
- CVPR
- 윤성우의 열혈 자료구조
- reinforcement learning
- 글또9기
- 데이터 전처리
- 개발배경지식
- 그래프데이터
- Semantic segmentation
- IT
- MLOps
- TFDV
- 논문 리뷰
- 딥러닝
- ML 파이프라인
- 자료구조
Archives
- Today
- Total
목록2024/04/14 (1)
성장通
트랜스포머 기반 LLM 동작 원리 톺아보기
트랜스포머 기반 LLM의 동작 원리 톺아보기 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포..
카테고리 없음
2024. 4. 14. 22:03