AWS What is RAG? 기반 도식화

RAG는 LLM에게 “답하기 전에 근거를 찾아오게 하는 구조”다

LLM이 학습 때 알고 있던 기억만으로 답하면 오래된 정보, 일반론, 환각이 섞일 수 있다. RAG는 질문과 관련된 외부 지식베이스를 먼저 검색하고, 그 근거를 프롬프트에 붙여 답변 품질을 높이는 방식이다.

원문: AWS - What is RAG?

한 줄 공식

사용자 질문

“우리 회사 연차 규정이 어떻게 돼?”

검색 근거

사내 규정 문서, 개인 휴가 기록, 최신 정책

LLM 답변

근거 기반 답변 + 출처 + 현재 맥락 반영

왜 RAG가 필요한가

문제 1

LLM은 모르면 지어낼 수 있다

모델은 답변 생성을 잘하지만, 모르는 질문에도 자신 있게 답할 수 있다. 업무 시스템에서는 이게 신뢰도 리스크가 된다.

문제 2

학습 데이터는 정적이다

모델의 기본 지식에는 최신 정책, 가격, 내부 문서, 고객별 상태가 자동으로 반영되지 않는다.

문제 3

도메인 맥락이 부족하다

같은 용어라도 산업, 회사, 규정에 따라 의미가 다르다. 외부 근거 없이 답하면 일반론으로 흐르기 쉽다.

LLM 단독 답변 vs RAG 답변

LLM 단독

사용자 질문 입력

모델의 기존 학습 지식으로 바로 생성

최신성/출처/권한 검증이 약함

그럴듯하지만 틀린 답변 가능

RAG 적용

사용자 질문 입력

질문과 관련된 문서·DB·API 검색

검색 결과를 프롬프트에 결합

근거 기반 답변과 출처 제공

RAG 동작 흐름 5단계

1 외부 데이터 준비 문서, DB, API, 웹페이지, 사내 지식 등을 수집한다.

2 임베딩/인덱싱 텍스트를 벡터로 변환하고 벡터DB 또는 검색 인덱스에 저장한다.

3 관련 정보 검색 사용자 질문을 벡터화해 의미상 가까운 문서 조각을 찾는다.

4 프롬프트 보강 질문과 검색 근거를 함께 넣어 LLM에게 답변 조건을 준다.

5 답변 생성/출처 LLM이 근거를 반영해 답하고, 필요하면 출처와 참고 문서를 표시한다.

아키텍처로 보면 이렇게 움직인다

지식 원천

문서 저장소PDF, HTML, Word, PPT, 매뉴얼

업무 시스템DB, CRM, ERP, 상담 이력

외부 소스뉴스, API, 공공 데이터, 웹사이트

수집/정제중복 제거, 권한 메타데이터, 최신화

청킹문서를 검색 가능한 작은 단위로 분할

임베딩문서와 질문을 숫자 벡터로 변환

검색/리랭킹질문과 가장 관련 있는 근거를 선별

프롬프트 조립질문 + 근거 + 응답 규칙을 구성

LLM 생성근거를 사용해 답변과 출처를 생성

운영 제어

권한 필터사용자가 볼 수 있는 문서만 검색

품질 평가정확도, 출처성, 응답 일관성 점검

데이터 갱신실시간 또는 배치로 인덱스 업데이트

AWS 원문 기준 핵심 이점

비용 효율

모델을 매번 재학습하지 않아도 된다

도메인 지식을 넣기 위해 파운데이션 모델을 다시 훈련하는 대신, 외부 지식을 검색해서 붙이는 방식이라 빠르고 비용이 낮다.

최신 정보

새 문서를 연결하면 답변도 최신화된다

뉴스, 연구, 정책, 내부 문서를 검색 소스로 연결하면 모델의 지식 컷오프 문제를 줄일 수 있다.

사용자 신뢰

출처를 보여줄 수 있다

답변에 근거 문서나 참고 링크를 함께 제공하면 사용자가 직접 확인할 수 있어 신뢰도가 올라간다.

개발자 통제

지식 소스와 권한을 관리할 수 있다

검색 대상, 민감정보 접근권한, 잘못된 문서 참조 문제를 운영 단계에서 조정할 수 있다.

Semantic Search와의 관계

구분	핵심 역할	RAG에서의 의미
키워드 검색	문자열이 일치하는 문서 위주로 찾음	정확한 단어가 없으면 중요한 문서를 놓칠 수 있다.
Semantic Search	질문 의도와 의미가 가까운 문서 조각을 찾음	대규모 지식베이스에서 RAG의 검색 품질을 높이는 핵심 구성요소가 된다.
RAG	검색 결과를 LLM 프롬프트에 결합해 답변 생성	검색은 RAG의 일부이고, 최종 목표는 근거 기반 생성 답변이다.

AWS에서의 구현 선택지

Amazon Bedrock

Knowledge Bases for Bedrock

파운데이션 모델을 데이터 소스와 연결해 RAG를 빠르게 구성하는 관리형 접근이다. 벡터 변환, 검색, 생성 연결을 단순화한다.

Amazon Kendra

엔터프라이즈 검색

사내 문서와 권한 필터링이 중요한 경우 검색 품질과 커넥터를 활용할 수 있다. RAG의 retriever 역할에 적합하다.

SageMaker

커스텀 ML/RAG

직접 모델과 파이프라인을 구성해야 하는 팀은 SageMaker JumpStart, 노트북, 샘플 코드를 활용해 맞춤형으로 구현할 수 있다.

실무에서 빠뜨리면 안 되는 리스크

검색 품질 잘못 검색하면 LLM도 잘못 답한다. 청킹, 임베딩, 리랭킹, 평가셋이 중요하다.

권한/보안 사용자가 접근하면 안 되는 문서가 검색 결과에 들어가면 정보 유출이 된다.

데이터 최신화 외부 데이터가 낡으면 RAG도 낡은 답을 낸다. 배치/실시간 갱신 전략이 필요하다.

출처 검증 출처 표시가 있어도 답변이 출처 내용을 왜곡할 수 있다. 응답 검증이 필요하다.

정보관리기술사 답안용 한 문단

RAG는 LLM이 답변을 생성하기 전에 외부 지식베이스에서 관련 근거를 검색하고, 이를 프롬프트에 결합해 최신성·정확성·출처성을 높이는 생성형 AI 아키텍처이다. 주요 구성요소는 문서 수집, 청킹, 임베딩, 벡터DB, 검색기, 리랭커, 프롬프트 구성, LLM, 출처 표시와 모니터링이다. 도입 효과는 환각 감소, 내부 지식 활용, 재학습 비용 절감, 사용자 신뢰 향상이며, 운영상 권한 통제, 데이터 최신화, 검색 품질 평가, 프롬프트 인젝션 방어가 함께 설계되어야 한다.

학습 체크리스트

개념 이해

RAG는 모델 재학습이 아니라 검색 근거를 프롬프트에 붙이는 구조다.
Semantic Search는 RAG의 검색 품질을 높이는 구성요소다.
출처가 있으면 신뢰는 올라가지만, 출처 왜곡 검증은 별도 필요하다.

실무 적용

문서 권한 메타데이터를 검색 단계에서 반드시 반영한다.
질문 유형별 정답셋을 만들어 검색/생성 품질을 주기적으로 평가한다.
데이터 갱신 주기와 출처 표시 정책을 운영 기준으로 명확히 둔다.

이 문서는 AWS의 “What is RAG (Retrieval-Augmented Generation)?” 페이지를 참고해 한국어 학습/실무 설명용으로 재구성한 도식화 자료입니다. 원문 주요 주제: RAG 정의, 필요성, 이점, 동작 방식, Semantic Search와의 차이, AWS 지원 서비스.