RAG 챗봇 구축, 프롬프트 설계에서 시작하자

2023. 11. 15.

RAG(Retrieval-Augmented Generation) 챗봇이 다양한 산업 현장에서 주목받고 있습니다. 예를 들어 지계차를 수입 및 판매하는 회사가 AI 챗봇을 도입한다고 가정해보자. 장비 유지보수 및 정비 서비스가 핵심인 기업에서 정비사는 실질적인 정보를 제공할 수 있는 정확한 챗봇 설계가 중요합니다. 그 출발점은 바로 ‘프롬프트 설계’입니다.

이 글에서는 RAG 챗봇이 무엇인지, 그리고 왜 프롬프트 설계가 핵심인지에 대해 깊이 있게 다루겠습니다. 마지막에는 실제 산업 현장에 적용 가능한 프롬프트 구성 예시도 소개합니다.

RAG 챗봇이란 무엇인가?

RAG는 Retrieval-Augmented Generation의 약어로, 외부 문서에서 정보를 검색(Retrieval)하고 이를 바탕으로 답변을 생성(Generation)하는 하이브리드 AI 기술입니다.

이 방식은 다음의 구조로 이루어집니다:

Retrieval 단계: 사용자 질문과 관련된 정보를 사전에 구축된 벡터 DB 또는 검색 시스템에서 가져옵니다.
Generation 단계: 검색된 정보를 기반으로 자연어 형태로 답변을 생성합니다.

이러한 RAG 시스템은 단순 질의응답이 아닌, 근거 기반 응답(grounded response) 제공이 가능하다는 점에서 산업 응용에 적합합니다.

왜 프롬프트 설계가 중요한가?

단순히 질문에 대한 답변을 생성하는 것이 아닌, 정확하고 일관된 품질의 답변을 만들기 위해서는 챗봇에게 주어지는 "지시어", 즉 프롬프트(prompt)의 역할이 핵심입니다.

프롬프트는 다음의 역할을 수행합니다:

AI의 역할(Role) 설정: 예를 들어, “A 회사의 정비 전문가 역할”을 설정
응답의 출처(Source) 제한: 반드시 검색된 매뉴얼이나 부품 책자에서만 정보를 추출
톤과 형식(Style & Format) 지정: 정비사 대상 답변은 간결하고 전문용어 위주로 작성

잘 설계된 프롬프트는 AI의 출력을 제어하고, 사용자에게 신뢰도 높은 응답을 제공합니다.

프롬프트 설계의 핵심 구성 요소

다음은 산업용 RAG 챗봇에서 프롬프트를 구성할 때 고려해야 할 주요 항목입니다.

맥락 (Context): AI의 기본적인 역할과 소속을 정의합니다.
목표 (Objective): AI가 수행해야 할 주된 임무나 목적을 명확히 제시합니다.
스타일 (Style): 답변이 어떤 언어로 제공되어야 하는지를 지정합니다.
톤 (Tone): 답변의 어조와 전문성 수준을 정의합니다.
청중/대상 (Audience): 답변을 들을 대상이 누구인지 명확히 하여, 그에 맞는 내용과 수준을 유지하도록 합니다.
답변 형식 (Response Format): 답변이 어떤 형태로 구성되어야 하는지를 구체적으로 지시합니다.

산업용 지계차 수입하는 A 회사 적용 사례: 정비사 지원용 챗봇 설계

A 회사는 다수의 지게차 및 고소장비를 보유한 기업으로, 정비사가 다양한 장비 이슈를 신속히 해결할 수 있도록 도움이 되는 RAG 챗봇을 도입 중입니다.

요구사항

현장 정비사가 자주 묻는 장비 고장 및 정비 절차에 대한 즉시 응답
부품 규격, 토크값, 정비 주기 등 정확한 수치 제공
기술 매뉴얼에서만 정보를 기반으로 구성

설계된 프롬프트의 예

# CONTEXT (맥락) #
당신은 A 회사의 AI Assistant입니다.
  
# OBJECTIVE (목표) #
정비사가 당면한 문제 해결을 위해 매뉴얼, 장비 부품 책자에서 해결책을 찾아서 제시하세요.
  
# STYLE (스타일) #
한국어로 번역해서 답변하세요.
  
# TONE (톤) #
정비 전문가로서 정확한 용어를 사용하여 핵심적인 내용만 간략하게 답변합니다.
  
# AUDIENCE (청중/대상) #
답변 대상은 A 회사에서 일하는 지게차, 고소장비 정비사입니다.
  
# RESPONSE (답변 형식) #
테이블로 정리해서 답변할 수 있는 정보는 Table 또는 Chart를 이용해서 답변합니다