LLM10

• 

  퍼스널 페이지에 LLM 연동하기 3편 – RAG 연결과 Langfuse 기반 모니터링 퍼스널 페이지에 LLM 연동하기 3편 – RAG 연결과 Langfuse 기반 모니터링TL;DRAstro 기반 챗봇 UI와 Gemini API를 연결한 이후, 본격적으로 벡터 검색 기반 RAG 기능을 통합했다. Pinecone을 통해 사용자의 질문과 유사한 컨텍스트를 찾아내고, Gemini로부터 응답을 생성하는 구조를 구현했으며, Langfuse를 활용해 전 과정을 트레이싱하고 분석할 수 있도록 했다. 앞선 글에서 챗봇 UI와 Gemini API를 연동한 구조까지 소개했다면, 이번 글에서는 드디어 1편에서 구축한 벡터 지식베이스를 챗봇과 연결하고, 실시간 RAG(Retrieval-Augmented Generation)를 수행하는 기능을 구현하는 과정을 정리한다. 또한, 챗봇 시스템의 행동을 추적하고 분석하.. 개인공부&프로젝트 2025. 4. 6.

• 

  퍼스널 페이지에 LLM 연동하기 2편 – Astro에 챗봇 연결하기 (feat. Gemini) 퍼스널 페이지에 LLM 연동하기 2편 – Astro에 챗봇 연결하기 (feat. Gemini)TL;DR퍼스널 페이지에 RAG 기반 LLM 챗봇을 붙이기 위해 Jekyll을 사용했지만, 챗봇 UI 구현과 실시간 처리에 한계를 느껴 Astro + Vercel로 전환했다. Astro의 SSR과 컴포넌트 기반 구조 덕분에 Gemini API와 통신하는 LLM 챗봇 프론트를 구현할 수 있었고, 기존 정적 페이지를 더 유연한 형태로 확장할 수 있게 되었다. 지난 글에서는 Jekyll 기반 퍼스널 페이지에서 Markdown 콘텐츠를 수집하고, 이를 벡터화해 FAISS로 저장하는 지식베이스 구축 과정을 소개했다. 프로젝트의 궁극적인 목표는 이 콘텐츠를 기반으로 작동하는 RAG(Retrieval-Augmented Gen.. 개인공부&프로젝트 2025. 4. 5.

• 

  퍼스널 페이지에 LLM 연동하기 1편 - 지식베이스 자동 구축 퍼스널 페이지에 LLM 연동하기 1편 - 지식베이스 자동 구축나는 원래 개인 프로필을 노션에 정리해두고 있었다. 사실 프론트엔드나 웹 개발에는 큰 흥미도, 여유도 없었기 때문에 빠르게 쓸 수 있는 도구를 선호했기 때문이다. 하지만 이번에 연구실에 진학하면서 사정이 달라졌다. 연구 경험과 논문 실적이 자연스럽게 드러나면서도 깔끔한 구조의 퍼스널 페이지가 필요했기 때문이다. 나는 웹 개발 경험이 거의 없는 상태였기 때문에, 빠르고 안정적으로 정적 웹사이트를 만들 수 있는 방법을 찾다가 Jekyll을 선택했다. Markdown 파일만 잘 관리하면 사이트가 자동으로 생성되고, GitHub Pages를 통해 손쉽게 배포할 수 있는 점이 특히 마음에 들었다. 처음에는 이 정도로도 충분하다고 생각했다. 그런데 문득 .. 개인공부&프로젝트 2025. 3. 30.

• 

  [도서 리뷰] GPT API를 활용한 인공지능 앱 개발 GPT API를 활용한 인공지능 앱 개발올리비에 케일린, 마리-알리스 블레트 지음이일섭, 박태환 옮김 GPT API를 활용한 인공지능 앱 개발(2판)o1부터 RAG, 랭체인, 파인 튜닝 그리고 프롬프트 엔지니어링까지 GPT와 파이썬을 활용한 실전 LLM 앱 개발www.hanbit.co.kr* 한빛미디어 서평단  활동을 위해서 책을 협찬 받아 작성된 서평입니다.간단 서평최근 들어 LLM(Large Language Model) 기반 애플리케이션이 급속도로 확산되고 있다. 다양한 기업과 연구소에서 RAG(Retrieval-Augmented Generation), 파인 튜닝, 프롬프트 엔지니어링 등을 활용해 AI 챗봇과 자동화 시스템을 구축하고 있으며, 나 역시 연구실에서 LLM을 기반으로 한 연구를 진행 중이.. 리뷰/도서, 강의 리뷰 2025. 2. 28.

• 

  PARA 프레임워크로 생산성 관리하기 (feat. LLM Agent) PARA 프레임워크로 생산성 관리하기 (feat. LLM Agent)대학원 생활을 하다 보면 연구에만 집중하기 어려운 순간이 많다. 실험과 논문 작성도 벅찬데, 수업과 미팅, 각종 행정 업무까지 겹치면 하루가 어떻게 지나가는지도 모를 정도다. 여러 태스크가 뒤섞이고, 급한 일부터 처리하다 보면 정작 중요한 연구는 뒷전으로 밀려버리기 일쑤다. 그때그때 흩어진 생각과 자료를 정리하려 해도, 어디서부터 손을 대야 할지 막막할 때가 많다. 이런 혼란 속에서 PARA 프레임워크를 도입하면 업무를 체계적으로 정리하고, 연구와 기타 업무 사이에서 생각이 분절되는 문제를 해결할 수 있을 것 같았다. 하지만 막상 적용하려니, 이를 효과적으로 구축하는 과정이 또 하나의 부담으로 다가왔다. 그래서 AI의 도움을 받아 나만의.. 개인공부&프로젝트 2025. 2. 15.

• Message와 Special Token Message와 Special Token이전 글에서 LLM이 어떻게 작동하는지 살펴보았다면, 이제는 이러한 모델이 대화를 구조화하는 방식인 채팅 템플릿(Chat Templates)에 대해 자세히 알아보자. 사용자가 AI 에이전트와 상호 작용하는 주요 방법은 채팅 인터페이스를 통한 대화이다. 하지만 모델은 개별 메시지를 기억하지 않으며, 모든 대화 내역이 하나의 단일 프롬프트로 변환된 후 모델에 전달된다. 이 과정에서 특수 토큰(Special Tokens)이 중요한 역할을 하며, 각 LLM 모델은 고유한 포맷을 요구한다.시스템 메시지와 역할 정의대화는 일반적으로 시스템 메시지(System Message), 사용자 메시지(User Message), 어시스턴트 메시지(Assistant Message)로 구성된.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 15.

• 

  Agent의 두뇌, LLM에 대해서 알아보자 Agent의 두뇌, LLM에 대해서 알아보자AI 에이전트의 핵심 구성 요소 중 하나는 AI 모델이며, 가장 일반적으로 사용되는 것이 대규모 언어 모델(LLM, Large Language Model)이다. 이번 글에서는 LLM이 무엇인지, 그리고 어떻게 에이전트를 구동하는지 간단히 살펴보도록 하자. LLM이란 무엇인가?LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI 모델이다. 이 모델들은 수백만에서 수십억 개의 매개변수(parameters)를 가지며, 텍스트의 패턴과 구조를 학습하여 자연스러운 언어 출력을 생성한다. 현대의 LLM은 Transformer 아키텍처를 기반으로 하며, 이 구조는 "Attention" 메커니즘을 활용하여 텍스트의 문맥을 효과적으로 이해하.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 14.

• AI 에이전트에 대해서 알아보자 (feat. LLM) AI 에이전트에 대해서 알아보자 (feat. LLM)최근 AI(LLM)의 발전과 함께 '에이전트(Agent)'는 사용자의 목표를 달성하기 위해 환경과 상호 작용하며 추론(reasoning), 계획(planning), 행동(execution) 등의 과정을 수행하는 시스템으로 주목받고 있다. 나 또한 단순 텍스트 응답 외에 다양한 작업을 자유롭게 수행하는 에이전트에 관심이 생겼고, 이를 연구에 활용해보고자 하는 목표를 갖게 되었다. 따라서, 에이전트에 대한 본격적인 공부를 하기 앞서 에이전트가 무엇인지, 어떤 것을 할 수 있는지를 간단하게 알아보고자 한다.에이전트란 무엇인가?에이전트는 AI 모델을 활용하여 주어진 목표를 수행하는 시스템이다. 사용자의 요청을 이해하고, 계획을 세운 후 실행하는 능력을 갖춘 것.. 개인공부&프로젝트/LLM 에이전트 스터디 2025. 2. 13.

• 

  [Paper Review] Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together TL;DR스탠퍼드 연구진은 복잡한 다단계 NLP 작업에서 모듈형 언어 모델 파이프라인의 최적화를 위해 'BetterTogether' 알고리즘을 제안했다. 이 알고리즘은 프롬프트 최적화(Prompt Optimization)와 가중치 조정(Fine-Tuning)을 번갈아 수행하여 멀티턴 QA, 수학문제 해결, 테이블 데이터 분류 태스크에서 최대 78%의 성능 향상을 달성했다. BFRS와 LoRA 기법을 활용해 프롬프트 예시를 최적화하고 모델을 미세 조정함으로써, 제한된 학습 데이터에서도 높은 정확도의 NLP 시스템 구축이 가능해졌다.Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together자연어 처리(NLP) 분야에서 언어 모.. 리뷰/논문 리뷰 2024. 10. 26.

• 트랜스포머 기반 LLM 동작 원리 톺아보기 트랜스포머 기반 LLM의 동작 원리 톺아보기트랜스포머(Transformer)는 자연어 처리(NLP) 분야에서 사용되는 심층 신경망 아키텍처의 한 종류로, 2017년 Google에서 발표한 "Attention is All You Need" 논문에서 처음 등장했다. 이러한 트랜스포머 기반으로 BERT, GPT와 같은 거대 NLP 모델들이 등장했고, 현재는 다양한 변형을 거쳐 NLP 도메인뿐만 아니라 Vision 도메인 등에서도 활발하게 사용되고 있는 알짜배기 아키텍처이다. 이번 포스팅에서는 이 트랜스포머를 깊이 있게 설명하기보다는, 트랜스포머 아키텍처를 가볍게 살펴보고, 이러한 트랜스포머를 기반으로 하는 LLM이 어떻게 동작하는지 단계별로 톺아볼 것이다. 트랜스포머를 좀 더 깊이 있게 알고 싶다면 아래 포스.. 카테고리 없음 2024. 4. 14.