Category: LLM Engineering
"LLM Engineering" 카테고리의 모든 글.
08-1. 데이터셋 개념 정리
머신러닝/딥러닝 모델을 학습시킬 때 데이터를 어떻게 나누고 활용하는지 알아봅니다.
고급 RAG 기법 (Advanced RAG Techniques)
이번 노트북은 07-1.rag_evaluation.ipynb에서 이어지는 내용으로, 고급 RAG 기법을 학습하고 동일한 테스트 데이터로 평가합니다.
RAG 시스템 평가 (RAG Evaluation)
이 노트북에서는 RAG 시스템의 검색 품질과 답변 품질을 정량적으로 측정하는 방법을 학습합니다.
RAG 기반 고객 상담 챗봇 만들기
이 노트북에서는 LangChain과 ChromaDB를 사용하여 RAGRetrieval-Augmented Generation 기반의 고객 상담 챗봇을 구축하는 방법을 배웁니다.
고급 RAG: 벡터 데이터베이스를 활용한 문서 검색 시스템
이번 노트북에서는 11번 노트북에서 배운 RAG 개념을 확장하여, 실전에서 사용하는 고급 RAG 시스템을 구축합니다. 벡터 데이터베이스를 사용하여 대량의 문서를 효율적으로 검색하고, LLM이 정확한 답변을 생성하도록 만들어봅니다.
LangChain vs LiteLLM 비교 가이드
> 원문: LangChain vs LiteLLM by Hey Amithttps://medium.com/@heyamit10/langchain-vs-litellm-a9b784a2ad1a
Vector Embeddings와 RAG 기초
이번 노트북에서는 현대 AI 시스템의 핵심 기술인 벡터 임베딩Vector Embeddings 과 RAGRetrieval-Augmented Generation 에 대해 알아봅니다.
LLM 벤치마크 완전 가이드: 모델 성능 평가의 모든 것
대규모 언어 모델LLM이 빠르게 발전하면서, 모델의 성능을 객관적으로 평가할 수 있는 벤치마크의 중요성이 커지고 있습니다.
Tool Use (Function Calling)
LLM에게 도구Tool 를 제공하면, AI가 외부 함수를 호출하여 실시간 정보를 가져오거나 작업을 수행할 수 있습니다.
Google Colab 사용해보기: 무료로 GPU 환경에서 AI 모델 실행하기
!Open In Colabhttps://colab.research.google.com/assets/colab-badge.svghttps://colab.research.google.com/github/your-repo/google_colab_gpu_guide.ipynb
Hugging Face 완전 정복: AI 모델의 GitHub
Hugging Face는 AI/ML 커뮤니티에서 가장 인기 있는 플랫폼으로, 수십만 개의 사전 학습된 모델과 데이터셋을 제공합니다. "AI 모델의 GitHub"라고 불리며, 누구나 모델을 공유하고 사용할 수 있습니다.
Gradio 기본 사용법
Gradiohttps://gradio.app는 머신러닝 모델이나 Python 함수를 위한 웹 UI를 빠르게 만들 수 있는 프레임워크입니다.
Multi-Modal AI 기초
Multi-Modal AI는 텍스트, 이미지, 음성 등 여러 형태의 데이터를 처리할 수 있는 AI입니다.
LLM을 활용한 회의록 자동 요약 시스템
회의록 작성은 많은 조직에서 필수적이지만 시간이 많이 소요되는 작업입니다. 회의 내용을 정확하게 기록하고, 핵심 내용을 요약하며, 액션 아이템을 정리하는 데 회의 시간만큼의 시간이 걸릴 수 있습니다.
System Message 활용하기
System message를 활용하면 챗봇에 특정 역할, 컨텍스트, 행동 지침을 부여할 수 있습니다. 이번 노트북에서는 System message를 효과적으로 활용하는 방법을 알아봅니다.
LLM API 고급 (Part 3/3)
이 노트북은 LLM API 시리즈의 마지막 파트로, 프로덕션 수준의 고급 기법들을 다룹니다.
LLM API 중급 (Part 2/3)
이 노트북은 LLM API 시리즈의 두 번째 파트로, 실무에서 필요한 다양한 기법들을 다룹니다.
LLM API 기초 (Part 1/3)
이 노트북은 LLM API 시리즈의 첫 번째 파트로, 대형 언어 모델 API의 기본 개념과 사용법을 다룹니다.
LLM Inference 이해하기: 토큰 예측의 마법
이 노트북에서는 대규모 언어 모델LLM의 Inference추론 과정을 실습을 통해 이해합니다. LLM이 어떻게 텍스트를 생성하는지, 그 내부 메커니즘을 시각화하여 살펴봅니다.
LLM Tokenizer 추가 학습
from huggingface_hub import login
LLM 토큰 기본 개념
이번 노트북에서는 LLM의 핵심 개념인 토큰Token 과 무상태Stateless 특성에 대해 알아봅니다.