LLM2

• 

  [Paper Review] Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together TL;DR스탠퍼드 연구진은 복잡한 다단계 NLP 작업에서 모듈형 언어 모델 파이프라인의 최적화를 위해 'BetterTogether' 알고리즘을 제안했다. 이 알고리즘은 프롬프트 최적화(Prompt Optimization)와 가중치 조정(Fine-Tuning)을 번갈아 수행하여 멀티턴 QA, 수학문제 해결, 테이블 데이터 분류 태스크에서 최대 78%의 성능 향상을 달성했다. BFRS와 LoRA 기법을 활용해 프롬프트 예시를 최적화하고 모델을 미세 조정함으로써, 제한된 학습 데이터에서도 높은 정확도의 NLP 시스템 구축이 가능해졌다.Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together자연어 처리(NLP) 분야에서 언어 모.. 리뷰/논문 리뷰 2024. 10. 26.

• 트랜스포머 기반 LLM 동작 원리 톺아보기 트랜스포머 기반 LLM의 동작 원리 톺아보기 트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포.. 카테고리 없음 2024. 4. 14.