RAG냐 파인튜닝이냐, 지식 문제와 행동 문제를 먼저 구분하라

기업용 LLM이 최신 규정이나 제품 문서를 몰라 틀린다면 RAG를 먼저 선택하는 편이 맞다. 필요한 정보를 입력에 줬는데도 지정된 JSON 구조, 상담 말투, 분류 기준이나 반복 작업을 일관되게 따르지 못한다면 파인튜닝을 검토할 차례다. RAG는 실행 시점에 지식을 공급하고, 파인튜닝은 추가 학습으로 모델의 행동 경향을 바꾼다.

두 문제가 함께 있으면 최신 문서 검색과 출처 연결은 RAG에, 검색된 근거를 정해진 방식으로 처리하는 일은 파인튜닝한 모델에 맡길 수 있다. 다만 혼합 구성은 검색 품질과 모델 행동을 따로 평가해야 하므로 운영 대상과 장애 원인도 늘어난다. 선택 기준은 기술의 우열이 아니라 실패 원인과 운영 조건이다.

차이의 핵심은 데이터가 들어가는 시점이다

RAG는 질문이 들어오면 외부 저장소에서 관련 내용을 찾아 프롬프트에 넣고, 기본 모델의 가중치는 바꾸지 않은 채 답을 생성한다. 문서 저장소와 인덱스를 갱신하면 새 가격표, 인사 규정, 제품 매뉴얼을 다음 요청부터 검색 대상으로 삼을 수 있다. 검색 결과와 문서 식별자·위치 정보를 함께 보존하도록 설계하면 답변 근거도 추적할 수 있다.

파인튜닝은 검수한 학습 예시로 기존 모델의 가중치를 조정한다. 사실을 요청마다 찾아 넣는 방식이라기보다, 입력을 어떤 출력으로 변환해야 하는지 반복해서 학습시키는 방식에 가깝다. AWS의 비교 지침 은 변경되는 자체 문서를 참조하고 출처를 제시하는 질의응답에는 RAG부터 시작하라고 권하며, 파인튜닝은 원문 출처를 답변에 제공하지 않고 학습에도 시간이 필요하다고 설명한다. 반면 문서 전체 요약 같은 추가 작업에는 파인튜닝을 검토할 수 있다고 구분한다.

먼저 ‘모른다’와 ‘따르지 않는다’를 진단하라

실패한 요청, 모델에 실제로 전달된 근거, 기대 출력을 나란히 놓으면 원인을 분리할 수 있다. 답변에 필요한 조항이 입력에 없었다면 지식 문제다. 올바른 조항이 입력에 있는데도 필수 필드를 빼거나 금지된 표현을 반복했다면 행동 문제다. 엉뚱한 문단이 검색된 사례를 생성 모델의 추론 실패로 분류하면 파인튜닝으로 검색 장애를 가리게 된다.

• RAG 우선: 최신 사내 문서, 고객별 계약, 재고, 정책처럼 바뀌는 사실을 조회해야 한다.
• 파인튜닝 검토: 입력 정보는 충분하지만 출력 형식, 어조, 분류 또는 특수 작업의 수행 방식이 흔들린다.
• 프롬프트 우선: 규칙이 짧고 명확하며 소수의 예시만으로도 원하는 행동이 안정된다.
• 혼합 구성: 최신 근거와 조직 고유의 응답 방식을 함께 높은 빈도로 요구한다.

출처가 반드시 필요한지도 강한 분기점이다. Google Cloud의 데이터 적용 가이드 는 자체 데이터에 근거한 출처 인용이 항상 필요하면 RAG를 사용해야 한다고 설명한다. 같은 가이드는 지도학습 파인튜닝을 분류나 자유 형식 텍스트의 구조화처럼 정의된 작업에 적용할 수 있으며, 이때 입력과 기대 출력의 쌍이 필요하다고 구분한다.

다섯 가지 입력으로 초기 구성을 좁힌다

결정표에는 데이터 변경 주기, 출처 요구, 지연시간, 학습 데이터, 운영 인력을 넣는다. 어느 한 항목만으로 결론을 확정할 수는 없지만, 지식과 행동 중 어느 실패를 먼저 줄여야 하는지는 선명해진다. 조건이 섞였다면 가장 큰 실패 원인을 해결하는 단독 기준선을 먼저 만들어야 혼합 구성의 추가 효과를 측정할 수 있다.

• 데이터 변경 주기: 매일 또는 매주 바뀌는 자료라면 RAG 쪽에 무게가 실린다. 거의 변하지 않는 작업 규칙과 안정된 출력 패턴은 파인튜닝 후보가 된다.
• 출처 필요성: 문서명, 조항이나 원문 위치를 답변과 연결해야 하면 RAG가 필요하다. 파인튜닝된 가중치만으로는 특정 답이 어느 문서에서 왔는지 증명할 수 없다.
• 지연시간: RAG에는 검색, 필요하면 재정렬, 컨텍스트 조립 단계가 추가된다. 엄격한 응답시간이 중요하고 작업이 안정적이라면 파인튜닝 후보와 실제 배포 환경에서 비교해야 한다.
• 학습 데이터: 검수된 입력·출력 예시가 부족하면 파인튜닝보다 프롬프트와 검색 평가에 먼저 투자한다. 문서가 많다는 사실이 행동 학습용 정답 예시가 충분하다는 뜻은 아니다.
• 운영 인력: RAG에는 문서 수집과 인덱스·권한 관리 역량이 필요하다. 파인튜닝에는 예시 큐레이션, 학습 작업, 모델 버전 관리와 회귀 평가를 지속할 인력이 필요하다.

따라서 문서가 자주 바뀌고 출처가 필요하며 검색 계층을 관리할 수 있다면 RAG가 기본값이다. 지식은 안정적이고 출처 요구가 없으며 엄격한 형식이 반복적으로 필요하고 검수된 예시가 충분하다면 파인튜닝을 비교할 이유가 생긴다. 두 조건이 모두 강할 때 혼합 구성이 후보가 된다.

비용과 지연시간은 서로 다른 단계에서 발생한다

RAG는 문서 수집, 정제, 청킹, 임베딩, 저장, 검색과 재정렬을 운영한다. 요청마다 검색 과정과 검색된 컨텍스트가 추가되므로 인프라 비용과 지연시간이 늘 수 있다. 대신 지식 변경은 문서와 인덱스를 갱신하는 방식으로 처리할 수 있어, 변경 때마다 생성 모델을 다시 학습할 필요는 없다.

파인튜닝은 학습 전에 예시를 만들고 정답을 검수하는 비용이 크다. 학습 후에는 긴 지시문이나 반복 예시를 줄일 여지가 있지만, 원하는 행동이나 기본 모델이 바뀌면 데이터 재검수, 재학습과 회귀 시험이 필요할 수 있다. n8n의 프로덕션 비교 는 RAG 비용이 주로 임베딩·벡터 저장·검색을 포함한 실행 단계에서 생기고, 파인튜닝 비용은 데이터 준비와 학습에 선행한다고 정리한다. 파인튜닝의 추론 효율 이점은 모델과 배포 조건에 따라 달라지므로 실제 처리량과 응답시간으로 확인해야 한다.

운영비에는 모델 호출료만이 아니라 사람과 변경 절차도 포함해야 한다. RAG에는 접근권한 동기화, 문서 변경 감지와 검색 실패 분석이 들어간다. 파인튜닝에는 예시 작성자와 검수자, 학습 작업, 버전별 평가가 들어간다. 혼합 구성은 두 비용을 모두 부담하므로 오류 감소나 처리량 개선이 복잡성을 정당화해야 한다.

문서 전체 요약과 검색 실패를 별도로 다룬다

일반적인 RAG는 질문과 가까운 일부 청크를 가져오므로 긴 문서의 논지와 예외를 빠짐없이 요약하는 작업에는 불리할 수 있다. 검색되지 않은 부분은 생성 모델의 입력에도 없기 때문이다. 파인튜닝을 추가해도 누락된 최신 원문이 자동으로 복구되지는 않는다. 문서 길이가 허용되면 전체 문맥 입력, 계층형 요약, 섹션별 요약 후 통합 같은 처리 경로를 RAG 질의응답과 별도로 비교해야 한다.

RAG 답변이 틀렸다면 정답 근거가 검색 후보에 들어왔는지부터 본다. 후보에 없었다면 파싱, 청킹, 메타데이터 필터나 검색어 변환을 점검하고, 후보에는 있지만 순위가 낮았다면 검색 방식과 재정렬을 살핀다. 올바른 근거가 최종 입력에 포함됐는데도 답을 잘못 구성했을 때 프롬프트, 모델 선택이나 파인튜닝을 검토한다.

Google Cloud의 RAG 평가 지침 은 검색 정확도와 생성 모델에 제공된 컨텍스트를 분리해 원인을 분석하고, 동일한 질문·기준 답변을 유지한 채 한 번에 한 변수만 바꿔 시험하라고 권한다. 구성 후보도 같은 평가 세트에서 비교해야 한다. 최신·구형 문서가 충돌하는 질문, 권한이 다른 사용자, 문서에 답이 없는 질문, 여러 섹션을 함께 읽어야 하는 요청을 포함하면 검색 실패와 행동 실패를 구별하기 쉽다.

혼합 구성은 역할과 변경 경계를 분리한다

조건부 예로 사내 고객지원 도우미를 생각할 수 있다. RAG는 최신 환불 규정, 제품별 문제 해결 문서와 고객의 계약 범위를 검색한다. 파인튜닝한 모델은 검색된 근거를 바탕으로 회사가 정한 문장 구조, 상담 단계와 출력 스키마를 안정적으로 따르도록 학습한다. 지식은 문서 저장소에서, 행동은 학습 데이터와 모델 버전에서 바뀐다.

그렇다고 안정된 내용은 모두 가중치에 넣고 최신 사실은 모두 검색에 맡기는 식으로 나누면 충분하지 않다. 행동 규칙도 법무 검토나 정책 변경으로 바뀔 수 있고, 검색 문서 안에 출력 형식을 결정하는 지침이 있을 수 있다. 변경 주체, 배포 주기와 승인 책임자를 기준으로 경계를 정해야 한다. 문서 담당자가 독립적으로 갱신할 내용은 검색 계층에 두고, 반복 평가로 검증할 수 있는 행동만 학습 대상으로 제한하는 편이 관리하기 쉽다.

최종 판단은 같은 평가 세트에서 내린다. 실패를 지식 부족, 검색 실패, 근거 해석 실패, 형식·행동 실패로 분류하고 출처 적합성, 응답시간, 요청당 비용과 운영 작업량을 함께 기록한다. 최신 사실을 찾고 증명하는 문제에는 RAG를, 주어진 사실을 원하는 방식으로 처리하는 문제에는 파인튜닝을 적용한다. 두 문제가 함께 있다면 결합하되 검색 품질과 모델 행동을 따로 관측할 수 있어야 한다.