RAG 설명: LLM 애플리케이션에 자체 데이터 추가하기
GPT-4나 Claude와 같은 강력한 LLM을 사용하여 챗봇을 구축했지만, 일반적인 답변을 제공하고 회사 내부 문서에 대해 알지 못합니다. 자체 데이터에 대한 질문에 답하도록 하려면 어떻게 해야 할까요? 파인튜닝은 비용이 많이 들고 정적입니다. 해결책은 검색 증강 생성(RAG)입니다.
이 글에서는 RAG를 실용적인 관점에서 설명하고, 단계별 구현 방법을 보여주며, 비공개 데이터를 활용하는 신뢰할 수 있는 LLM 애플리케이션 구축을 위한 모범 사례를 공유합니다.
RAG란 무엇인가?
RAG는 두 가지 강력한 기술을 결합합니다: 검색(지식 베이스에서 관련 정보 찾기)과 생성(LLM을 사용하여 답변 생성). LLM의 사전 훈련된 지식에만 의존하는 대신, RAG는 관련 문서를 동적으로 가져와 프롬프트에 포함시켜 모델의 응답을 사용자 데이터에 근거하게 합니다.
AI에게 오픈 북 시험을 보게 하는 것과 같습니다: 응답하기 전에 문서에서 답을 찾아볼 수 있습니다.
RAG를 사용하는 이유
- 최신 정보: 모델을 재훈련하지 않고도 지식 베이스를 업데이트할 수 있습니다.
- 비용 효율성: 값비싼 파인튜닝이나 큰 컨텍스트 윈도우가 필요 없습니다.
- 정확성: 검색된 사실에 답변을 근거시켜 환각을 줄입니다.
- 프라이버시: 데이터는 벡터 데이터베이스에 남아 있고, 관련 스니펫만 LLM으로 전송됩니다.
- 유연성: 모든 LLM(OpenAI, Anthropic, 로컬 모델) 및 모든 문서 유형과 호환됩니다.
RAG 작동 방식: 핵심 구성 요소
일반적인 RAG 시스템에는 네 가지 주요 부분이 있습니다:
- 문서 수집: 문서(PDF, 웹 페이지, 데이터베이스)를 로드하고 전처리합니다.
- 임베딩 모델: 텍스트 청크를 의미를 담은 숫자 벡터로 변환합니다.
- 벡터 데이터베이스: 빠른 유사도 검색을 위해 이러한 벡터를 저장하고 인덱싱합니다.
- LLM: 검색된 컨텍스트를 사용하여 답변을 생성합니다.
단계별: RAG 파이프라인 구축
1. 문서 준비
데이터 소스를 수집하세요: PDF, Markdown 파일, Confluence 페이지 또는 SQL 테이블. 텍스트를 정리하고(헤더, 푸터, 보일러플레이트 제거) 컨텍스트를 유지하기 위해 약간의 중복(예: 50단어)을 포함하여 200~500단어 청크로 분할합니다.
Python 예제:
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500,
chunk_overlap=50
)
chunks = text_splitter.split_text(your_document)
2. 임베딩 생성
OpenAI의 text-embedding-3-small 또는 all-MiniLM-L6-v2와 같은 오픈 소스 모델을 사용하여 각 청크를 벡터로 변환합니다.
from openai import OpenAI
client = OpenAI()
def get_embedding(text):
response = client.embeddings.create(
model="text-embedding-3-small",
input=text
)
return response.data[0].embedding
3. 벡터 데이터베이스에 저장
벡터 데이터베이스를 선택하세요: Pinecone, Weaviate, Qdrant 또는 pgvector가 있는 PostgreSQL도 가능합니다. 각 청크의 임베딩을 메타데이터(출처, 페이지 번호)와 함께 저장합니다.
import pinecone
pinecone.init(api_key="YOUR_KEY", environment="us-west1-gcp")
index = pinecone.Index("rag-demo")
vectors = [(f"chunk-{i}", get_embedding(chunk), {"text": chunk}) for i, chunk in enumerate(chunks)]
index.upsert(vectors=vectors)
4. 관련 청크 검색
사용자가 질문을 하면 쿼리를 임베딩하고 가장 유사한 상위 k개 청크를 검색합니다.
query_embedding = get_embedding(user_question)
results = index.query(vector=query_embedding, top_k=3, include_metadata=True)
context = "\n\n".join([match.metadata["text"] for match in results.matches])
5. 답변 생성
검색된 컨텍스트를 포함하는 프롬프트를 구성하고 LLM에게 이를 기반으로 답변하도록 요청합니다.
prompt = f"""Answer the question based only on the following context:
{context}
Question: {user_question}
Answer:"""
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": prompt}]
)
print(response.choices[0].message.content)
RAG vs 파인튜닝
| 측면 | RAG | 파인튜닝 |
|---|---|---|
| 데이터 최신성 | 실시간 업데이트 | 재훈련 전까지 정적 |
| 비용 | 낮음 (임베딩 + 저장) | 높음 (훈련 컴퓨팅) |
| 구현 | 모듈식, 더 쉬움 | 복잡, ML 전문 지식 필요 |
| 사용 사례 | 문서에 대한 Q&A | 스타일 적응, 도메인 용어 |
RAG 모범 사례
- 현명하게 청크 분할: 문장이 잘리지 않도록 청크를 중복시키고, 시맨틱 청킹을 고려하세요.
- 하이브리드 검색 사용: 더 나은 재현율을 위해 벡터 검색과 키워드 검색(BM25)을 결합하세요.
- 결과 재순위화: 크로스 인코더를 사용하여 검색된 청크를 관련성에 따라 재정렬하세요.
- 신중한 프롬프트: LLM에게 출처를 인용하고 컨텍스트가 불충분하면 "모르겠습니다"라고 말하도록 지시하세요.
- 모니터링 및 평가: 쿼리와 응답을 기록하고 적중률 및 답변 관련성과 같은 지표를 사용하세요.
일반적인 함정과 피하는 방법
- 검색 성능 저하: 임베딩이 도메인 특정 의미를 포착하지 못하면 임베딩 모델을 파인튜닝하거나 도메인 특정 모델을 사용해 보세요.
- 컨텍스트 길이 제한: 너무 많은 청크를 넣지 말고 상위 결과의 우선순위를 정하고 프롬프트를 간결하게 유지하세요.
- 환각: 컨텍스트가 있어도 LLM이 사실을 만들어낼 수 있습니다. 엄격한 프롬프트를 사용하고 검증 단계를 고려하세요.
- 오래된 인덱스: 문서가 변경되면 다시 임베딩하는 파이프라인을 설정하세요.
FAQ
RAG와 파인튜닝의 차이점은 무엇인가요?
RAG는 추론 시 관련 정보를 검색하여 프롬프트에 포함시키는 반면, 파인튜닝은 모델의 가중치를 조정하여 새로운 패턴을 학습합니다. RAG는 동적이고 사실적인 지식에 더 적합하고, 파인튜닝은 스타일이나 도메인 적응에 더 적합합니다.
RAG에 벡터 데이터베이스가 필요한가요?
엄격히 필요하지는 않습니다. 모든 검색 인덱스(예: Elasticsearch)를 사용하거나 작은 데이터 세트의 경우 인메모리 코사인 유사도를 사용할 수 있습니다. 그러나 Pinecone이나 Qdrant와 같은 벡터 데이터베이스는 빠르고 확장 가능한 유사도 검색에 최적화되어 있습니다.
RAG 시스템을 어떻게 평가하나요?
검색 품질(precision@k, recall)과 생성 품질(답변 관련성, 충실성)을 측정합니다. Ragas 또는 TruLens와 같은 도구가 평가 자동화에 도움이 될 수 있습니다.
결론
RAG는 LLM 애플리케이션에 자체 데이터를 추가하는 실용적이고 비용 효율적인 방법입니다. 위 단계를 따르고 모범 사례를 준수하면 비공개 지식 베이스를 사용하여 질문에 정확하게 답변하는 AI 어시스턴트를 구축할 수 있습니다. 작게 시작하고 반복하며 항상 평가하세요.
RAG 파이프라인을 위해 문서를 준비할 때, 더 쉬운 수집을 위해 여러 PDF를 하나의 파일로 병합해야 하는 경우가 많습니다. 무료 PDF 병합 도구를 사용하여 PDF를 빠르고 안전하게 결합하세요.