내 문서 위에 RAG 챗봇 만들기

추측 대신 내 문서에서 답하는 에이전트. 모델보다 검색 품질이 중요합니다.

1. 1

   검색부터 제대로

   에이전트 로직을 더하기 전에 평범한 검색 파이프라인부터 만드세요. 문서를 합리적으로 청킹하고, 임베딩하고, 벡터 인덱스에 저장하고, 질문이 올바른 구절을 반환하는지 테스트하세요. LlamaIndex가 이에 특화돼 있습니다. 대부분의 RAG 품질 문제는 검색 문제이니, 에이전트를 얹기 전에 검색이 되는지 증명하세요.

2. 2

   에이전트가 검색 시점을 정하게

   단순 RAG 봇은 매 메시지마다 검색합니다. 에이전트는 더 똑똑할 수 있습니다. 질문에 조회가 필요한지, 무엇을 찾을지, 한 번 검색으로 충분한지 정합니다. 검색을 에이전트가 호출하는 도구로 감싸, 무작정 컨텍스트를 채우는 대신 필요한 것을 추론하게 하세요.

3. 3

   답을 근거에 묶고 출처 인용

   검색된 구절에서만 답하고 모르면 모른다고 말하라고 모델에 지시하세요. 환각이 줄어듭니다. 답과 함께 출처 청크를 반환해 사용자가 확인하게 하세요. TypeScript 스택이면 Mastra가 검색과 에이전트 루프를 한 패키지로 담고, Python이면 LlamaIndex + 오케스트레이터가 잘 맞습니다.