RAG란 무엇인가 — 한 줄로
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 답을 쓰기 전에 정해 둔 자료에서 관련 부분을 먼저 찾아 읽게 하는 방법입니다. ChatGPT 같은 AI는 학습할 때 본 내용으로만 답하기 때문에 우리 회사 환불 규정이나 이번 달 가격표를 모릅니다. 모르면 그럴듯하게 지어내기도 합니다. RAG는 질문이 들어올 때마다 회사 자료에서 맞는 부분을 찾아 질문과 같이 넘겨 줍니다. AI는 그 부분을 보고 답합니다.
이 말은 2020년 페이스북 AI 연구팀(지금의 메타) 등이 낸 논문 제목에서 나왔습니다. 지금은 회사 자료로 답하는 AI 챗봇, 사내 문서 검색 도우미를 만드는 가장 흔한 방식이 됐습니다.
RAG는 이렇게 돌아갑니다
- 자료 준비규정집, 제품 설명서, FAQ, 상담 기록 같은 자료를 모읍니다. 긴 문서는 몇 문단씩 잘게 나눕니다.
- 찾기 쉽게 바꿔 두기나눈 조각마다 뜻을 숫자 묶음(임베딩)으로 바꿔 저장합니다. 그래야 '환불'과 '돈 돌려받기'처럼 단어가 달라도 뜻이 같은 조각을 찾을 수 있습니다.
- 질문이 들어오면 찾기질문도 같은 방식으로 바꿔서 가장 가까운 조각 몇 개를 찾습니다. 단어 검색을 같이 쓰면 제품 번호 같은 정확한 말도 놓치지 않습니다.
- 찾은 조각과 함께 AI에 묻기"아래 자료만 보고 답하고, 없으면 모른다고 하라"는 지시와 함께 넘깁니다.
- 답과 근거 보여 주기답 아래에 어느 문서 몇 항을 봤는지 붙입니다. 자료가 바뀌면 그 문서만 다시 넣으면 됩니다.
RAG, 파인튜닝, 자료 그냥 올리기 — 무엇이 다른가
| 방법 | 어떻게 | 맞는 경우 | 약한 곳 |
|---|---|---|---|
| ChatGPT·클로드에 파일 올리기 | 대화창에 문서를 올리고 묻기 | 직원 혼자 가끔 찾아볼 때 | 손님에게 열어 줄 수 없고, 답이 자료 밖으로 나가도 막기 어렵다 |
| RAG | 질문마다 자료에서 찾아서 AI에 같이 넘김 | 회사 자료로 손님·직원 질문에 답할 때 | 찾기가 틀리면 답도 틀린다 — 자료 손질이 중요 |
| 파인튜닝 | AI 모델 자체를 추가로 학습시킴 | 말투, 정해진 답 형식을 익힐 때 | 자료가 바뀔 때마다 다시 학습, 근거를 보여 주기 어렵다 |
AWS는 RAG의 장점으로 모델을 다시 학습시키지 않고 새 자료를 넣을 수 있다는 점, 답에 출처를 붙일 수 있다는 점을 꼽습니다. 회사 자료로 답하는 챗봇이 대부분 RAG로 만들어지는 이유입니다.
RAG 챗봇이 잘 안 되는 이유
RAG는 개념은 쉬운데 막상 만들면 엉뚱한 답이 나오는 경우가 많습니다. 마이크로소프트 문서도 RAG를 만들 때 부딪히는 문제로 질문 이해, 여러 곳에 흩어진 자료, AI에 한 번에 넣을 수 있는 양의 한계, 응답 속도, 권한 관리를 꼽습니다. 저희가 보는 원인은 대개 이렇습니다.
- 질문과 자료의 말이 다르다손님은 "택배 언제 와요"라고 묻는데 자료에는 "배송 소요 기간"이라고 적혀 있습니다. 뜻으로 찾는 검색과 단어 검색을 같이 써야 합니다.
- 자료를 아무렇게나 잘랐다표가 중간에 잘리거나, 조건과 예외가 다른 조각으로 갈라지면 AI가 반쪽만 보고 답합니다.
- 옛 자료와 새 자료가 섞였다작년 가격표가 남아 있으면 그걸 찾아옵니다. 자료마다 날짜와 담당자를 붙여 관리해야 합니다.
- 볼 수 없는 사람에게 보여 준다사내용 자료를 손님 챗봇이 찾아오면 안 됩니다. 자료마다 누가 볼 수 있는지 나눠 둬야 합니다.
- 모를 때 멈추는 장치가 없다찾은 조각이 질문과 거리가 멀면 답하지 말고 담당자에게 넘기게 해야 합니다.
그래서 RAG 구축 기간의 대부분은 AI 연결이 아니라 자료 손질과 시험에 들어갑니다. 실제 손님 질문 수십 개로 답을 하나씩 확인하고, 틀린 답은 자료나 자르는 방법을 고쳐 다시 시험합니다.
RAG 구축 비용 — 무엇에 돈이 드나
RAG 챗봇의 돈은 처음 만드는 비용과 매달 나가는 AI 사용료로 나뉩니다. 사용료 중 자료를 숫자 묶음으로 바꾸는 단계는 싼 편입니다. OpenAI 공식 요금표 기준 text-embedding-3-small 모델은 100만 토큰에 0.02달러입니다. 비용 대부분은 질문마다 답을 쓰는 AI 모델 사용료라서, 하루 질문 수와 한 번에 넘기는 자료 양으로 계산합니다. 만들기 전에 예상 질문 수로 한 달 사용료를 미리 계산하고 한도를 걸어 둡니다.
검색 수요도 확인해 봤습니다. 구글 애즈 키워드 플래너(2026년 9월 29일, 대한민국)에서 'RAG'는 월 1만~10만 회 검색되는데 광고 경쟁은 '낮음', 상단 광고 입찰가는 57~6,648원이었습니다. 같은 날 'AI 챗봇'은 월 1천~1만 회, 입찰가 1,085~11,345원이었습니다. 공부하려고 찾는 사람이 많은 말이라는 뜻입니다. 구글 자동완성에도 'RAG 구축 비용', 'RAG 구축 업체', 'RAG 챗봇 만들기'가 같이 나옵니다.
형인소프트는 RAG 챗봇을 이 가격으로 만듭니다. 시장 가격과 견적 차이가 나는 이유는 AI 챗봇 만들기 비용에, 카카오톡에 붙일 때 알아 둘 것은 카카오톡 챗봇 가이드에 정리했습니다.
| 일 | 가격 | 내용 |
|---|---|---|
| AI 챗봇 기본 | 70만 원부터 | 회사 자료·FAQ로 답하는 RAG 챗봇, 카카오톡 또는 홈페이지 한 곳 |
| AI 상담봇 | 150만 원부터 | 기본에 상담원 연결, 관리 화면, 답변 기록과 근거 보기 |
| AI 기능 추가 | 100만 원부터 | 쓰고 계신 프로그램·사내 시스템에 문서 찾기와 AI 답변을 붙이기 |
| AI 상담봇 운영 | 월 10만 원 + 실비 | 자료 업데이트, 틀린 답 고치기, 사용료 확인 (구축 고객만) |
AI 사용료는 실비로 따로 나옵니다. 자세한 범위는 AI 챗봇 만들기 페이지에 있습니다.
출처
- Lewis 외, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020년 5월) (새 창)
- AWS — RAG(검색 증강 생성)란 무엇인가요? (새 창)
- Microsoft Learn — RAG 및 생성 AI (Azure AI Search) (새 창)
- OpenAI API 요금표 — 임베딩 모델 가격 (새 창)
2026년 10월 2일 조회. AI 요금은 자주 바뀌니 쓰기 전에 공식 요금표를 다시 확인하세요. 검색량·입찰가는 형인소프트가 구글 애즈 키워드 플래너에서 2026년 9월 29일 조회한 값입니다.