트랜스포머1

• 트랜스포머 기반 LLM 동작 원리 톺아보기 트랜스포머 기반 LLM의 동작 원리 톺아보기 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포.. 카테고리 없음 2024. 4. 14.