RAG·파인튜닝: 최신 지식과 출력 행동의 선택 기준

기업용 AI가 바뀌는 사내 문서를 찾아 근거와 함께 답해야 한다면 RAG부터 검토하는 편이 합리적이다. 같은 질문에 정해진 형식으로 답하거나 특정 작업 방식을 반복해서 따르게 하는 것이 핵심이라면 파인튜닝이 후보가 된다. AWS의 공식 비교 지침도 자체 문서를 참조하는 질의응답은 RAG로 시작하고, 요약 같은 추가 작업을 학습시킬 때 파인튜닝을 고려하라고 권고한다.

선택 기준은 답에 필요한 사실과 모델에 요구하는 행동을 구분하는 데서 나온다. 사실이 자주 바뀌거나 원문을 제시해야 한다면 검색 구조가 중요하다. 형식 오류가 반복된다면 학습의 효과를 따져볼 수 있다. 이후 같은 업무량에서 검색·입력 토큰비, 학습·서빙비, 검수와 재시도 비용을 합쳐 비교해야 한다.

바뀌는 문서와 답변 근거가 중요할 때

RAG는 질문이 들어오면 관련 문서 조각을 검색해 모델 입력에 붙인다. 문서가 수정되면 검색 대상과 색인을 갱신해 새 내용을 답변에 반영할 수 있다. 사내 규정이나 제품 설명서의 특정 부분을 답변 근거로 보여줘야 하는 업무에 이 구조가 맞는다.

다만 문서를 색인에 넣었다는 사실만으로 정답이 보장되지는 않는다. 필요한 조각을 찾지 못하거나 오래된 버전과 새 버전을 함께 가져오면, 모델은 근거를 받은 상태에서도 틀릴 수 있다. 여러 문서의 사실을 연결해야 하는 질문에서는 필요한 근거가 모두 검색됐는지와 모델이 그 근거를 제대로 결합했는지를 따로 살펴야 한다.

새로운 지식을 다룬 다단계 질의응답 연구에서는 검색 기반 방식이 사전학습 이후의 정보에 관한 답변 정확도를 크게 높였고, 정답이 표시된 문답으로 지도 파인튜닝한 방식은 평가 전반에서 가장 높은 정확도를 보였다. 실험은 여러 근거를 연결하는 객관식 질문을 대상으로 했으므로, 그 순위를 기업의 자유 서술형 답변에 그대로 적용할 수는 없다. 결과가 보여주는 핵심은 새 사실에 접근하는 능력과 과제에 맞춘 학습 효과를 별개로 판단해야 한다는 점이다.

기업 문서에서는 검색 품질에 버전과 접근 권한도 포함된다. 폐기된 정책을 먼저 찾거나 이용자가 볼 수 없는 문서를 답변 근거로 쓰면 문장이 자연스러워도 서비스 요구를 충족하지 못한다. 이때 먼저 손볼 부분은 모델 가중치가 아니라 검색 범위, 문서 갱신 절차, 권한 필터와 근거 표시 방식이다.

출력 형식과 반복 행동이 문제일 때

파인튜닝은 입력과 원하는 출력의 사례로 모델의 응답 성향을 조정한다. 정해진 필드 순서, 분류 기준, 문체나 도구 사용 방식을 반복해서 지켜야 할 때 검토할 수 있다. Microsoft Foundry의 파인튜닝 설명은 일관된 형식과 구조, 프롬프트 예시 축소, 검색된 맥락의 활용을 가능한 효과로 들면서도 별도 평가 없이는 개선을 보장할 수 없다고 명시한다.

조건부 예로, 입력 문서에서 항목을 추출해 일정한 구조로 반환하는 업무를 생각해 볼 수 있다. 먼저 프롬프트와 구조화된 출력 기능으로 요구 형식을 충족하는지 확인할 수 있다. 그래도 항목 누락이나 혼동이 반복되고 검수된 정답 사례가 충분하다면, 파인튜닝 비용을 들여 오류가 줄어드는지 비교할 이유가 생긴다.

학습은 문서의 최신 버전을 자동으로 제공하지 않는다. 내부 규정을 모델에 익히게 하면 규정이 개정될 때 재학습이 필요할 수 있고, 답변에 쓰인 문장의 원문 위치를 밝히기도 어렵다. 따라서 형식을 잘 따르는지와 현재 문서의 사실을 정확히 답하는지는 분리해 평가해야 한다.

평가 항목도 목적에 따라 달라진다. 행동을 바꾸려면 필수 필드 충족, 항목 순서, 도구 선택과 같은 실패 유형을 본다. 문서 지식을 제공하려면 필요한 조각의 검색 성공, 문서 버전, 답변과 근거의 일치 여부를 본다. 이 둘을 하나의 정확도 점수로 합치면 어느 문제가 남았는지 가려진다.

비용의 교차점은 어디서 생기나

RAG에는 문서 임베딩과 색인, 요청당 검색, 검색 결과로 늘어난 입력 토큰 비용이 든다. 파인튜닝에는 학습 데이터 준비와 훈련비가 들고 배포 방식에 따라 모델 서빙의 고정비가 붙는다. BMW Group의 차량 사용설명서와 품질 관리 기록을 활용한 산업 질의응답 연구는 이런 비용에 답변 검수, 재시도, 사람이 직접 해결하는 비용까지 포함해 비교했다.

그 실험에서는 RAG의 요청당 생성 비용이 늘어도 답변 정확도 개선으로 사람의 개입이 줄어, 성공한 답을 얻는 데 드는 예상 총비용이 낮아졌다. 이는 사용설명서와 품질 관리 기록으로 만든 문답, 해당 모델 구성과 비용 가정에서 얻은 결과다. 다른 기업의 문서와 인건비에 동일한 금액이나 순위를 대입할 수는 없다.

비용을 비교하려면 먼저 기간을 같게 맞춘다. RAG에는 색인 구축과 갱신 비용에 더해 매 요청의 검색비와 추가 입력 토큰비를 넣는다. 파인튜닝에는 데이터 제작, 훈련과 재학습, 해당 배포 방식의 서빙비와 추론비를 넣는다. 두 방식 모두 답변을 확인하고 실패 후 다시 처리하는 비용을 별도로 포함해야 한다.

검색 조각의 개수와 길이는 비용선을 움직이는 설계값이다. 조각을 더 보내면 필요한 근거를 포함할 가능성은 커질 수 있지만 입력 토큰도 늘고 무관한 내용이 섞일 여지도 생긴다. 반대로 검색 범위를 좁히면 비용은 줄어도 필요한 조항을 놓칠 수 있다. 따라서 검색 조각을 몇 개 보낼지는 답변 품질과 요청당 비용을 함께 놓고 정해야 한다.

파인튜닝의 초기비는 같은 모델을 많은 요청에 쓰면 건당 부담이 작아진다. 하지만 내용이나 요구 행동이 바뀌어 재학습하면 새로운 비용이 생기고, 전용 서빙 용량을 쓰는 구성은 요청이 적어도 비용이 발생할 수 있다. RAG 역시 색인을 만들고 갱신하는 고정비가 있으므로 어느 쪽도 고정비가 없다고 놓고 계산해서는 안 된다.

단순한 손익분기 요청량은 두 방식의 고정비 차이를 요청당 비용 차이로 나눠 구한다. 조건부 예로, 같은 기간 파인튜닝의 고정비가 RAG보다 100만 원 높고 RAG의 요청당 비용이 100원 높다면 교차점은 1만 건이다. 이 계산은 답변 성공률이 같다는 가정에서만 성립한다. 어느 한쪽의 고정비와 요청당 비용이 모두 낮다면 요청량이 늘어도 비용 순위가 뒤집히지 않는다.

성공률이 다르면 요청 가격보다 성공한 답 한 건의 총비용이 적절한 비교 단위다. 싼 요청이 자주 실패하면 재질의와 검수 시간이 절감액을 넘을 수 있다. 반대로 입력 토큰이 많은 검색 방식도 사람의 확인 작업을 충분히 줄이면 더 경제적일 수 있다. 실패 후 다시 시도할지, 사람이 직접 해결할지도 실제 업무 흐름에 맞춰 계산해야 한다.

선택을 위한 점수표

다음 점수표는 특정 연구의 성능 순위가 아니라 요구사항을 정리하는 틀이다. 항목마다 유리한 방식에 2점, 차이가 작거나 조건에 따라 달라지면 양쪽에 1점, 관련이 없으면 0점을 준다. 근거 제시처럼 반드시 충족해야 하는 조건은 합계 점수보다 우선한다.

지식 갱신 빈도: 답의 근거가 자주 개정되고 새 버전을 빠르게 반영해야 하면 RAG에 점수를 준다. 내용이 안정적이라면 갱신 빈도만으로 선택하지 않는다.
답변 근거: 문서명과 해당 부분을 이용자에게 보여주거나 원문과 대조해야 하면 RAG에 점수를 준다. 검색 결과를 표시할 수 있다는 것과 답변이 실제로 그 결과에 충실하다는 것은 별도로 평가한다.
출력 형식과 행동: 프롬프트와 출력 제약으로도 해결되지 않는 오류가 반복되고 정답 사례가 충분하면 파인튜닝에 점수를 준다. 단순한 형식 요구만으로 학습비가 정당화되지는 않는다.
초기 학습비: 검수된 학습 자료를 만들기 어렵거나 훈련 예산이 제한적이면 RAG에 점수를 준다. 기존 정답 사례와 학습 체계가 있다면 파인튜닝의 초기 부담을 낮게 평가할 수 있다.
요청당 검색비: 긴 조각을 여러 개 보내야 해 입력 토큰과 검색비가 커지면 파인튜닝의 비용상 이점을 검토한다. 짧은 근거만으로 충분하다면 RAG의 변동비는 낮아질 수 있다.
실패 후 비용: 각 방식의 오답을 확인하고 다시 처리하는 시간을 넣는다. 요청 단가가 높아도 검수와 재시도를 더 크게 줄이는 방식에 점수를 준다.

점수가 비슷하면 비용 항목을 추정치로만 채우지 않는 것이 중요하다. 같은 질문과 문서 버전에서 검색 성공, 형식 준수, 입력 토큰, 검수 시간을 비교하면 차이를 확인할 수 있다. 특히 근거 제시가 필수인 업무에서는 다른 항목의 점수가 높다는 이유로 검색 구조를 제외할 수 없다.

둘을 함께 써야 하는 조건

최신 문서의 근거가 필요하면서 그 근거를 받은 모델이 정해진 형식이나 작업 방식을 안정적으로 따르지 못한다면 혼합 구성이 타당하다. RAG가 답변에 필요한 자료를 가져오고, 파인튜닝한 모델이 그 자료를 처리하는 방식을 익히는 구조다. 조건부 예로, 개정되는 내부 지침의 조항을 근거로 제시하면서 답변은 고정된 필드와 순서로 반환해야 하는 업무가 있다.

혼합 방식에는 양쪽 비용이 함께 붙는다. 색인과 요청당 검색·입력 토큰을 유지하면서 학습·재학습·서빙 비용도 부담한다. 검색만으로 지식과 형식 요구를 충족한다면 학습을 더할 실익이 작고, 학습만으로 형식은 지켜도 최신 문서의 근거를 제시하지 못한다면 검색을 결합할 이유가 크다.

결국 선택은 어느 기술의 이름이 익숙한지가 아니라 어떤 실패를 줄여야 하는지에 달려 있다. 바뀌는 사실과 원문 근거가 병목이면 검색 범위와 문서 관리가 우선이고, 반복되는 행동 오류가 병목이면 학습 효과를 살핀다. 두 문제가 동시에 남을 때에만 혼합 구성의 추가 비용을 정당화할 수 있다.

함께 읽기: