티스토리

성장通

검색하기

블로그 홈

성장通

kevin-rain.tistory.com/m

인공지능 전문가를 꿈꾸는 작은 펭귄의 성장 기록

구독자: 6

방명록 방문하기

주요 글 목록

LLM Agent의 Thought-Action-Observation Cycle LLM Agent의 Thought-Action-Observation CycleAI Agent는 단순한 자연어 처리 모델을 넘어, Reasoning, Planning, Acting 능력을 갖춘 시스템이다. 이들을 가능하게 하는 핵심 개념이 Thought-Action-Observation Cycle이며, 이는 Agent가 지속적으로 환경과 상호작용하며 목표를 달성하도록 돕는다. 본 글에서는 이 사이클이 어떻게 작동하는지에 대해 전문적인 관점에서 살펴본다. Thought: Internal Reasoning과 PlanningAgent의 첫 번째 단계는 Thought, 즉 내부 추론(Internal Reasoning)과 계획(Planning) 단계다. 주어진 Query를 분석하고, 해결해야 할 Problem을 정.. 공감수 0 댓글수 0 2025. 2. 23.
LLM 에이전트의 도구 사용 LLM 에이전트의 도구 사용AI 에이전트의 핵심 기능 중 하나는 행동(Actions)을 수행하는 능력이다. 이는 단순한 텍스트 생성에 국한되지 않으며, 도구(Tools)를 활용함으로써 확장된다. 적절한 도구를 제공하고, 이를 명확하게 설명하면 AI 에이전트가 보다 복잡한 작업을 수행할 수 있다. 도구란 무엇인가?도구(Tool)란 LLM이 사용할 수 있도록 제공된 특정 기능을 의미한다. 도구는 특정한 목적을 수행하는 함수로, 대표적인 예시는 다음과 같다. 도구 유형설명웹 검색최신 정보를 인터넷에서 가져옴이미지 생성텍스트 기반의 이미지 생성정보 검색외부 데이터베이스에서 정보 검색API 호출GitHub, YouTube 등 외부 API와 상호작용 도구는 LLM의 내부 지식이 훈련된 시점까지만 반영된다는 한계를 .. 공감수 1 댓글수 0 2025. 2. 22.
왜 RNN보다 트랜스포머가 좋다는걸까? (feat. 혁펜하임의 Easy! 딥러닝) 왜 RNN보다 트랜스포머가 더 강력한가? (feat. 혁펜하임의 Easy! 딥러닝)시계열 데이터를 다룰 때 가장 먼저 배우는 것은 RNN이다. RNN은 가장 기본적인 모델인 만큼 필수적으로 배우고 넘어가야 하는 개념 중 하나인데, 사실 대부분의 논문을 보면 RNN을 그대로 쓰는 경우는 거의 없다. 그 대신 트랜스포머(Transformer)를 주로 사용하곤 하는데, 이 트랜스포머의 어떤 점이 RNN을 대체하고 있는지 간단하게 정리해 보았다.연속적인 데이터와 RNN의 등장연속적인 데이터를 다룰 때 가장 중요한 개념 중 하나가 토크나이징(Tokenizing)이다. 자연어 처리(NLP)에서 문장을 의미 있는 단위로 나누는 과정은 필수적이며, 이를 효과적으로 수행하는 것이 모델 성능에 직접적인 영향을 미친다. 예.. 공감수 2 댓글수 0 2025. 2. 15.
PARA 프레임워크로 생산성 관리하기 (feat. LLM Agent) PARA 프레임워크로 생산성 관리하기 (feat. LLM Agent)대학원 생활을 하다 보면 연구에만 집중하기 어려운 순간이 많다. 실험과 논문 작성도 벅찬데, 수업과 미팅, 각종 행정 업무까지 겹치면 하루가 어떻게 지나가는지도 모를 정도다. 여러 태스크가 뒤섞이고, 급한 일부터 처리하다 보면 정작 중요한 연구는 뒷전으로 밀려버리기 일쑤다. 그때그때 흩어진 생각과 자료를 정리하려 해도, 어디서부터 손을 대야 할지 막막할 때가 많다. 이런 혼란 속에서 PARA 프레임워크를 도입하면 업무를 체계적으로 정리하고, 연구와 기타 업무 사이에서 생각이 분절되는 문제를 해결할 수 있을 것 같았다. 하지만 막상 적용하려니, 이를 효과적으로 구축하는 과정이 또 하나의 부담으로 다가왔다. 그래서 AI의 도움을 받아 나만의.. 공감수 0 댓글수 0 2025. 2. 15.
Message와 Special Token Message와 Special Token이전 글에서 LLM이 어떻게 작동하는지 살펴보았다면, 이제는 이러한 모델이 대화를 구조화하는 방식인 채팅 템플릿(Chat Templates)에 대해 자세히 알아보자. 사용자가 AI 에이전트와 상호 작용하는 주요 방법은 채팅 인터페이스를 통한 대화이다. 하지만 모델은 개별 메시지를 기억하지 않으며, 모든 대화 내역이 하나의 단일 프롬프트로 변환된 후 모델에 전달된다. 이 과정에서 특수 토큰(Special Tokens)이 중요한 역할을 하며, 각 LLM 모델은 고유한 포맷을 요구한다.시스템 메시지와 역할 정의대화는 일반적으로 시스템 메시지(System Message), 사용자 메시지(User Message), 어시스턴트 메시지(Assistant Message)로 구성된.. 공감수 0 댓글수 0 2025. 2. 15.
Agent의 두뇌, LLM에 대해서 알아보자 Agent의 두뇌, LLM에 대해서 알아보자AI 에이전트의 핵심 구성 요소 중 하나는 AI 모델이며, 가장 일반적으로 사용되는 것이 대규모 언어 모델(LLM, Large Language Model)이다. 이번 글에서는 LLM이 무엇인지, 그리고 어떻게 에이전트를 구동하는지 간단히 살펴보도록 하자. LLM이란 무엇인가?LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI 모델이다. 이 모델들은 수백만에서 수십억 개의 매개변수(parameters)를 가지며, 텍스트의 패턴과 구조를 학습하여 자연스러운 언어 출력을 생성한다. 현대의 LLM은 Transformer 아키텍처를 기반으로 하며, 이 구조는 "Attention" 메커니즘을 활용하여 텍스트의 문맥을 효과적으로 이해하.. 공감수 2 댓글수 1 2025. 2. 14.
AI 에이전트에 대해서 알아보자 (feat. LLM) AI 에이전트에 대해서 알아보자 (feat. LLM)최근 AI(LLM)의 발전과 함께 '에이전트(Agent)'는 사용자의 목표를 달성하기 위해 환경과 상호 작용하며 추론(reasoning), 계획(planning), 행동(execution) 등의 과정을 수행하는 시스템으로 주목받고 있다. 나 또한 단순 텍스트 응답 외에 다양한 작업을 자유롭게 수행하는 에이전트에 관심이 생겼고, 이를 연구에 활용해보고자 하는 목표를 갖게 되었다. 따라서, 에이전트에 대한 본격적인 공부를 하기 앞서 에이전트가 무엇인지, 어떤 것을 할 수 있는지를 간단하게 알아보고자 한다.에이전트란 무엇인가?에이전트는 AI 모델을 활용하여 주어진 목표를 수행하는 시스템이다. 사용자의 요청을 이해하고, 계획을 세운 후 실행하는 능력을 갖춘 것.. 공감수 1 댓글수 0 2025. 2. 13.
GPU 병렬화 기법 GPU 병렬화 기법GPU 병렬화는 수천 개의 코어를 활용하여 대규모 데이터를 동시에 처리하는 기술로, 딥러닝과 같은 고성능 컴퓨팅에서 필수적인 최적화 방식이다. 특히 LLM(Large Language Models)과 같은 대형 모델을 학습하거나, 방대한 데이터를 처리할 때 필수적인 기술로, 여러 작업을 병렬로 수행함으로써 전체 처리 시간을 크게 단축할 수 있다. 이러한 병렬화 기법에는 데이터 병렬 처리(DP), 모델 병렬 처리(MP), 파이프라인 병렬 처리(PP), 텐서 병렬 처리(TP), 그리고 완전 공유 데이터 병렬 처리(FSDP) 등이 있다. 데이터 병렬 처리데이터 병렬 처리(Data Parallelism, DP)는 대규모 데이터셋을 여러 개의 작은 배치로 나누고, 동일한 모델을 여러 GPU에 복사.. 공감수 1 댓글수 0 2025. 2. 4.
디퓨전 모델과 ELBO 정리: DDPM 논문을 중심으로 디퓨전 모델과 ELBO 정리: DDPM 논문을 중심으로학교에서 있을 GDGoC 딥러닝 세미나를 준비하면서, 생성형 AI에 대해 다시 공부하게 되었다. 특히, 확률적 생성 모델이 어떻게 최적화되는지를 이해하는 과정에서 디퓨전 모델(Diffusion Model)의 ELBO(Evidence Lower Bound) 유도 방식이 궁금했다. 디퓨전 모델의 핵심 아이디어는 데이터를 점진적으로 노이징 하는 Forward Process(확산 과정)과 이를 복원하는 Reverse Process(역확산 과정, 디노이징 과정)을 학습하는 것이다. 이 과정은 DDPM 논문("Denoising Diffusion Probabilistic Models")에서 수식적으로 체계적으로 정리되어 있다. 논문의 핵심 내용을 정리하면서 ELB.. 공감수 0 댓글수 0 2025. 2. 1.
GMM에서 VAE로: EM 알고리즘 한계 극복하기 GMM과 VAE: EM 알고리즘 한계 극복하기혼합 가우시안 모델(Gaussian Mixture Model, GMM)은 데이터 분포를 여러 개의 가우시안 분포로 나타내는 모델로, 데이터가 여러 개의 가우시안 분포에서 샘플링된 결과라는 생성적 관점을 제공한다. 이를 통해 GMM은 데이터 생성 과정을 모델링할 수 있으며, 각 데이터 포인트가 특정 가우시안 분포에서 생성되었다고 가정한다. GMM의 학습 과정에서는 주로 기대값 최대화(Expectation-Maximization, EM) 알고리즘이 활용된다. EM 알고리즘은 잠재 변수를 포함한 확률 모델의 최대 우도(MLE)를 계산하는 효과적인 방법으로, 데이터를 설명하는 잠재 구조를 탐구할 수 있도록 돕는다. 하지만 GMM은 각 데이터 포인트가 여러 가우시안 분.. 공감수 2 댓글수 1 2025. 1. 19.
GPT, Gemma, Llama3 모델 특징 비교 GPT, Gemma, Llama3 모델 특징 비교최근 대규모 언어 모델(LLM)의 발전이 가속화되면서, 다양한 모델들이 등장하고 있다. 그중에서도 GPT, Gemma, Llama 3는 가장 주목받는 모델 중 하나이다. 이 글에서는 각 모델의 주요 특징을 비교하고, 특히 Gemma와 Llama 3의 구조를 상세히 분석해 본다. Gemma 모델 구조 분석Gemma는 Google DeepMind에서 개발한 경량 LLM으로, 최적화된 구조를 통해 높은 성능을 유지하면서도 효율적인 계산이 가능하도록 설계되었다. 모델의 핵심 구조에는 RMSNorm, post attention layer norm, GeGLU와 같은 최신 기술이 적용되었다. Input Layer Normalization: RMSNormGemma에서는.. 공감수 3 댓글수 0 2025. 1. 5.
파인튜닝 개념 TL;DR 파인튜닝은 GPT 같은 대규모 언어 모델을 특정 작업에 맞게 최적화하는 과정으로, 연산 비용이 큰 전체 파인튜닝 대신 효율적인 PEFT 기법이 많이 활용된다. Adapter Tuning은 모델 구조를 유지하면서 작은 모듈만 추가하여 학습하며, Prompt Tuning은 입력 프롬프트를 최적화해 성능을 향상시키는 방식으로 데이터 요구량이 적다. LoRA는 가중치 변화량을 저차원 행렬로 학습해 메모리 효율성을 높인다. 파인튜닝 시 과적합을 방지하기 위해 검증 데이터를 활용하고, 재앙적 망각을 막기 위해 기존 데이터와 병행 학습해야 한다. 또한, 데이터 품질 관리를 철저히 해야 최적의 성능을 얻을 수 있다. 파인튜닝 개념GPT와 같은 대규모 언어 모델을 실제로 활용하기 위해서는 사전 훈련된 모델을.. 공감수 1 댓글수 1 2025. 1. 4.
멀티헤드 어텐션 & 피드포워드 GPT: 멀티헤드 어텐션 & 피드포워드최근 AI 연구에서 가장 주목받는 주제 중 하나는 GPT(Generative Pre-trained Transformer) 모델이다. GPT는 자연어 이해와 생성을 위한 언어 모델로, 입력 데이터를 처리하는 forward 메서드와 이를 바탕으로 텍스트를 생성하는 generate 메서드를 통해 작동한다. 이 과정에서 GPT는 어텐션 메커니즘과 신경망 구조를 활용해 언어의 문맥과 패턴을 효과적으로 학습한다. 이 글에서는 GPT의 핵심 요소인 멀티헤드 어텐션과 피드포워드 네트워크, 블록 설계 방법, 그리고 토크나이저 제작 과정을 중심으로 내용을 정리해 보았다. 멀티헤드 어텐션어텐션 메커니즘(Attention Mechanism)은 GPT와 같은 트랜스포머 모델의 핵심 구성 요.. 공감수 0 댓글수 0 2025. 1. 4.
언어 모델 구조 및 셀프 어텐션 메커니즘 이해 언어 모델 구조 및 셀프 어텐션 메커니즘 이해GPTGPT는 자연어 이해와 생성을 위한 언어 모델로, 입력 데이터를 처리하는 forward 메서드와 이를 바탕으로 텍스트를 생성하는 generate 메서드를 통해 작동한다. 이 과정에서 GPT는 어텐션 메커니즘과 신경망 구조를 활용해 언어의 문맥과 패턴을 효과적으로 학습한다. 셀프 어텐션 메커니즘셀프 어텐션(Self Attention)은 입력된 각 단어가 문맥 내에서 다른 단어들과의 관계를 학습하는 데 핵심적인 역할을 한다. 이를 위해, 입력 시퀀스 X는 임베딩 후 세 가지 행렬 Q(Query), K(Key), V(Value)로 변환된다. 각각은 다음과 같은 연산으로 계산된다. $$Q=XW_Q,~ K=XW_K,~ V=XW_V $$ 여기서 $W_Q,~ W_K,.. 공감수 1 댓글수 0 2024. 12. 31.
클라우드 기반 GPU 컴퓨팅 플랫폼, 런팟(RunPod) 사용법 클라우드 기반 GPU 컴퓨팅 플랫폼, 런팟(RunPod) 사용법런팟 소개런팟(RunPod)은 인공지능 및 머신러닝 모델의 개발, 학습, 배포를 위한 클라우드 기반 GPU 플랫폼이다. 사용자는 필요에 따라 GPU 인스턴스를 신속하게 생성하고, 서버리스 환경에서 AI 애플리케이션을 확장할 수 있다. 런팟은 Multi-GPU를 사용할 수 있도록 지원하기 때문에 복잡한 인공지능 모델의 개발이나 대규모 데이터 처리 시 코랩 등에 비해 효율적이고 빠르게 진행할 수 있다는 장점을 가지고 있다. 런팟은 다양한 GPU 옵션을 통해 경제적인 선택이 가능하다. 예를 들어, NVIDIA A100 SXM 80GB GPU를 시간당 $1.89에 이용할 수 있다. 이처럼, 런팟은 리소스를 충분히 확보하지 못한 데이터 엔지니어들에게 .. 공감수 2 댓글수 1 2024. 12. 31.
NLP 이해와 런팟 설치 NLP의 과거와 오늘NLP는 인간의 언어를 기계가 이해하고 처리하기 위한 도전으로 시작되었다. 아르츠루니와 트로얀스키는 기계 번역의 초기 개념을 제시하며 기반을 다졌고, 위버와 섀넌의 정보 이론을 바탕으로 1954년 조지타운-IBM 실험이 성공적으로 이루어졌다. 하지만 초기의 규칙 기반 접근은 언어의 복잡성을 다루기 어려웠고, 품질의 한계로 연구가 지체되었다. 같은 시기, 튜링은 "기계는 생각할 수 있는가?"라는 질문을 던지며 인간-기계 상호작용 가능성을 탐구했으나, 튜링테스트는 기계의 이해 능력을 완전히 검증하기엔 부족했다. 퍼셉트론은 신경망 학습의 기초를 마련했지만, 단층 구조의 한계로 연구가 한동안 정체되었다. 이후 역전파 알고리즘과 비선형 활성화 함수가 도입되며 신경망은 더 복잡한 문제를 학습할 .. 공감수 0 댓글수 0 2024. 12. 31.
배치 사이즈가 1인 배치 처리와 스트리밍 처리는 같은가? 배치 사이즈가 1인 배치 처리와 스트리밍 처리는 같은가?데이터 수집 및 처리는 현대의 정보 시스템에서 필수적인 요소이다. 이를 구현하는 두 가지 대표적인 방식은 배치 처리와 스트리밍 방식이다. 그런데 문득, '배치 사이즈가 1인 배치 데이터 수집 방식은 스트리밍 방식과 같은 건가?'라는 생각이 들었다. 딥러닝 쪽에서도 배치 사이즈가 1인 Mini-batch 방식은 Online learning과 같다고 하니까.. 둘은 동일한 개념일까? 아니면 중요한 차이가 존재할까? 이러한 의문에 답하기 위해 내용을 좀 더 찾아보았다. 배치 데이터 수집 방식이란?배치 데이터 수집은 데이터를 일정한 크기로 묶어 한 번에 처리하는 방식이다. 일반적으로 배치 크기는 고정되어 있으며, 작업이 끝난 후 시스템은 다음 작업 요청까지.. 공감수 1 댓글수 0 2024. 12. 28.
OSError: [Errno 28] No space left on device 해결 OSError: [Errno 28] No space left on device 해결MMPose를 설치하던 중 다음과 같은 에러를 맞닥트렸다. 구글링을 해보니, 이 에러는 패키지 설치 중 임시 파일을 저장할 충분한 공간이 없을 때 발생한다고 한다. Python의 패키지 관리자인 pip은 패키지를 설치할 때 종종 다운로드한 패키지 파일을 압축 해제하거나 컴파일할 때 사용되는 임시 파일을 생성하는데, 이를 저장하기 위한 공간이 부족한 경우에 이 에러가 발생한다. 기본적으로 pip은 이 임시 파일들을 /tmp 디렉토리에 저장하는데, /tmp 디렉토리는 제한된 저장 공간을 가질 수 있기 때문에, 이를 더 넉넉한 공간을 제공하는 /var/tmp로 변경하면 에러가 해결될 수 있다는 정보를 찾았다. 이러한 내용에 따라.. 공감수 1 댓글수 2 2024. 12. 5.
Temporal Cycle Consistency Loss 구현체 최적화 벡터화 연산을 활용한 Temporal Cycle Consistency Loss 최적화최근 연구실에서 골프 모션 가이던스를 위한 시스템을 제작하고 있다. 이때, 사용자와 전문가 모션의 차이를 추출하기 위해 2022년 IEEE Access에 게재된 'AI Golf: Golf Swing Analysis Tool for Self-Training'라는 논문에서 제시한 S-TCC 네트워크를 이용하고 있는데, 여기서 S-TCC 인코더 학습에 사용된 Temporal Cycle Consistency Loss의 계산을 개선해보았다.골프 스윙 분석을 위한 S-TCC 네트워크개선 결과의 설명에 앞서, 논문에서 제시한 S-TCC(Skeleton-Based Temporal Cycle-Consistency) 네트워크에 대해 먼저 .. 공감수 4 댓글수 1 2024. 11. 23.
테크포임팩트: B-Peach Lab을 시작하며 테크포임팩트: B-Peach Lab을 시작하며 이번에 카카오임팩트와 모두의연구소가 주관하는 소셜임팩트 프로젝트, '테크포임팩트'의 B-Peach Lab에 AI 엔지니어로 합류하게 되었다. 그동안 '기술의 본질은 따뜻함'이라는 생각을 가지고 있었기 때문에 이번 프로젝트는 나에게 꿈꾸던 목표를 실현할 수 있는 좋은 기회가 될 것 같다.기술의 본질은 따뜻함기술은 사람들의 삶을 윤택하게 만들 뿐만 아니라, 사회적 약자를 돕는 데 큰 역할을 할 수 있을 때 진정한 가치를 발휘한다고 생각한다. 나에게 기술은 단순히 생활을 편리하게 만드는 도구가 아니다. 기술은 소외된 이들의 문제를 해결하고, 그들의 삶을 더 나은 방향으로 이끌 수 있는 강력한 도구여야 한다. 기술이 정보 접근성을 높여 이해의 장벽을 허물고, 사회적.. 공감수 11 댓글수 5 2024. 10. 12.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.