agent5 벨만 방정식 벨만 방정식벨만 방정식은 결국 가치 함수를 재귀적으로 나타낸 것이다. 이 벨만 방정식에는 벨만 기대 방정식과 벨만 최적 방정식이 있는데, 이 둘을 살펴보고 이터레이션이 어떻게 일어나는지 알아보도록 하자. 벨만 기대 방정식가치함수는 어떤 상태의 가치, 즉 에이전트가 그 상태로 갈 경우에 얻게 될 보상의 합에 대한 기댓값을 나타낸다. 이는 정책 $\pi$에 영향을 받으며 식으로는 $v_\pi(s) = E_\pi[R_{t+1} + \gamma v_\pi(S_{t+1})|S_t=s]$로 나타낸다. 이와 같은 방정식을 벨만 기대 방정식(Bellman Expectation Equation)이라고 하며, 현재 상태의 가치함수와 다음 상태의 가치함수 사이의 관계를 식으로 나타낸 것이다. 이는 가치함수 값의 지속적인 업.. ML&DL/강화학습 2025. 4. 7. 강화학습 소개 강화학습 소개강화 학습(Reinforcement Learning, RL)은 본디 20세기 행동심리학에서 유래된 개념이다. 행동심리학자 스키너(B.F. Skinner)는 동물 실험을 통해 '강화(Reinforcement)'라는 개념을 처음 제시하였다. 이 개념은 이후 인공지능(AI) 분야에서 기계가 스스로 학습할 수 있도록 하는 중요한 학습 방법으로 발전하였다. 스키너의 강화 연구행동심리학에는 시행착오(Trial and Error) 학습이라는 개념이 있다. 이는 동물들이 다양한 행동을 시도해 보면서 그 결과를 통해 학습하는 것을 의미한다. 스키너는 다음과 같은 쥐 실험을 통해 동물이 행동과 그 결과 사이의 관계를 학습하는 과정을 연구했다. 1. 굶긴 쥐를 지렛대가 있는 상자(Skinner Box)에 넣는.. ML&DL/강화학습 2025. 3. 16. Message와 Special Token Message와 Special Token이전 글에서 LLM이 어떻게 작동하는지 살펴보았다면, 이제는 이러한 모델이 대화를 구조화하는 방식인 채팅 템플릿(Chat Templates)에 대해 자세히 알아보자. 사용자가 AI 에이전트와 상호 작용하는 주요 방법은 채팅 인터페이스를 통한 대화이다. 하지만 모델은 개별 메시지를 기억하지 않으며, 모든 대화 내역이 하나의 단일 프롬프트로 변환된 후 모델에 전달된다. 이 과정에서 특수 토큰(Special Tokens)이 중요한 역할을 하며, 각 LLM 모델은 고유한 포맷을 요구한다.시스템 메시지와 역할 정의대화는 일반적으로 시스템 메시지(System Message), 사용자 메시지(User Message), 어시스턴트 메시지(Assistant Message)로 구성된.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 15. Agent의 두뇌, LLM에 대해서 알아보자 Agent의 두뇌, LLM에 대해서 알아보자AI 에이전트의 핵심 구성 요소 중 하나는 AI 모델이며, 가장 일반적으로 사용되는 것이 대규모 언어 모델(LLM, Large Language Model)이다. 이번 글에서는 LLM이 무엇인지, 그리고 어떻게 에이전트를 구동하는지 간단히 살펴보도록 하자. LLM이란 무엇인가?LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI 모델이다. 이 모델들은 수백만에서 수십억 개의 매개변수(parameters)를 가지며, 텍스트의 패턴과 구조를 학습하여 자연스러운 언어 출력을 생성한다. 현대의 LLM은 Transformer 아키텍처를 기반으로 하며, 이 구조는 "Attention" 메커니즘을 활용하여 텍스트의 문맥을 효과적으로 이해하.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 14. AI 에이전트에 대해서 알아보자 (feat. LLM) AI 에이전트에 대해서 알아보자 (feat. LLM)최근 AI(LLM)의 발전과 함께 '에이전트(Agent)'는 사용자의 목표를 달성하기 위해 환경과 상호 작용하며 추론(reasoning), 계획(planning), 행동(execution) 등의 과정을 수행하는 시스템으로 주목받고 있다. 나 또한 단순 텍스트 응답 외에 다양한 작업을 자유롭게 수행하는 에이전트에 관심이 생겼고, 이를 연구에 활용해보고자 하는 목표를 갖게 되었다. 따라서, 에이전트에 대한 본격적인 공부를 하기 앞서 에이전트가 무엇인지, 어떤 것을 할 수 있는지를 간단하게 알아보고자 한다.에이전트란 무엇인가?에이전트는 AI 모델을 활용하여 주어진 목표를 수행하는 시스템이다. 사용자의 요청을 이해하고, 계획을 세운 후 실행하는 능력을 갖춘 것.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 13. 이전 1 다음
