RAG(Retrieval-Augmented Generation, 검색 증강 생성)란 AI가 답을 쓰기 전에 관련 자료를 먼저 찾아 그 자료를 근거로 답하게 하는 방식입니다. 기업이 AI를 도입할 때 결과를 가르는 것은 어떤 모델을 쓰느냐보다 그 모델이 어떤 회사 데이터를 근거로 삼을 수 있느냐이고, 그래서 저희는 "우리 회사도 AI를 써야 하나요?"라는 질문을 "AI에게 무엇을 읽게 할 건가요?"로 바꿔 답합니다. 흩어진 데이터로는 RAG가 성립하지 않으며, 회사 데이터를 AI가 읽게 할 때는 권한, 출처, 외부 전송 최소화, 사람의 판단이라는 네 가지 원칙이 필요합니다.
핵심 요약
- RAG는 모델의 기억이 아니라 회사의 메일과 문서에서 자료를 찾아 답하므로 출처를 함께 보여 줄 수 있고, 회사 데이터를 모델 학습에 넣지 않아도 됩니다.
- 견적은 영업 SaaS에, 계약은 전자계약 서비스에, 정산은 엑셀에, 결정의 근거는 메일에 흩어진 상태에서는 찾을 자료가 없거나 찾아도 믿을 수 없습니다.
- AI 도입의 첫 단계는 모델 선택이 아니라 데이터 정리이며, 저희는 회사 데이터를 네트워크, 메일과 첨부파일, 업무 기록의 세 갈래로 봅니다.
- 네 가지 원칙은 권한 범위 안에서만, 출처를 함께, 밖으로 나가는 것은 최소로, 판단은 사람이 하는 것입니다.
RAG란 무엇인가
RAG는 AI가 답을 쓰기 전에 관련 자료를 먼저 찾아서 그 자료를 근거로 답하게 하는 방식입니다. "A고객에게 보낸 최종 견적서가 뭐지?"라고 물으면, 모델의 기억이 아니라 회사의 메일과 문서에서 해당 견적서를 찾아 읽고, 그 내용으로 답을 만듭니다.
근거가 있으니 출처를 함께 보여 줄 수 있습니다. 회사 데이터를 모델 학습에 넣지 않아도 되므로, 데이터가 모델 안으로 흡수되는 것을 걱정하지 않고 쓸 수 있습니다.
왜 흩어진 데이터로는 RAG가 안 되나
RAG의 전제가 "찾을 수 있다"이기 때문입니다. 그런데 회사의 기록은 보통 이렇게 있습니다. 견적은 영업 SaaS에, 계약은 전자계약 서비스에, 정산은 누군가의 엑셀에, 결정의 근거는 메일 어딘가에. 같은 거래처가 서비스마다 다른 이름으로 적혀 있고, 첨부파일은 만료된 링크 뒤에 있습니다.
이 상태에서는 아무리 좋은 모델을 붙여도 찾을 자료가 없거나, 찾아도 믿을 수 없습니다. 그래서 AI 도입의 첫 단계는 모델 선택이 아니라 데이터 정리입니다.
회사 데이터는 어떻게 나눠 봐야 하나
저희는 회사 데이터를 세 갈래로 봅니다.
- 네트워크 — 어떤 장치가 연결돼 있고 어떻게 통신하는가. 보안의 출발점이자, 회사 환경을 설명하는 데이터입니다.
- 메일과 첨부파일 — 계약 조건, 고객 요구, 의사결정의 근거가 가장 많이 남는 곳입니다. 보존되고 분류돼야 읽을 수 있습니다.
- 업무 기록 — 결재, 인사, 계약, 주문, 정산. 한 시스템에서 구조를 갖추고 쌓여야 AI가 어디서 무엇을 찾을지 알 수 있습니다.
세 갈래 중 메일을 AI가 읽게 할 때 개인 사서함과 회사 보관 메일이 어떻게 다른지는 메일함에 AI를 연결하는 두 가지 방법 글에서 따로 다뤘습니다.
회사 데이터를 AI가 읽게 할 때의 네 가지 원칙은 무엇인가
권한, 출처, 외부 전송 최소화, 사람의 판단입니다.
- 권한 범위 안에서만. 직원은 자기 메일만, 관리자는 승인된 범위만. AI도 질문한 사람의 권한 안에서만 자료를 찾고 답해야 합니다.
- 출처를 함께 보여 준다. 요약만 믿게 하지 않습니다. 답의 근거가 된 원본을 바로 열 수 있어야 합니다.
- 밖으로 나가는 것을 최소화한다. 자료를 찾고 분석하는 일은 회사 안에서 하고, 외부 모델에는 답을 쓰는 데 필요한 부분만 전달합니다. 필요하면 AI 기능을 끄고도 시스템이 돌아가야 합니다.
- 판단은 사람이 한다. AI는 찾는 시간을 줄여 주는 도구입니다. 결재와 송금과 계약의 결정은 여전히 담당자의 몫입니다.
저희가 네트워크(PATROL), 메일(MailInsight), 업무 기록(페스트웍스)을 따로 만들면서도 한 방향을 보는 이유가 여기 있습니다. 흩어져 있던 회사의 기록이 AI가 읽을 수 있는 하나의 데이터가 되는 것. 기능을 만들 때마다 "이 데이터는 AI가 읽고, 연결하고, 검증할 수 있는 구조인가"를 먼저 묻습니다. 도입을 검토 중이시라면 문의로 연락 주시면 됩니다.
자주 묻는 질문
Q. RAG를 쓰면 회사 데이터가 AI 모델 학습에 사용되나요?
사용되지 않습니다. RAG는 질문을 받을 때마다 자료를 검색해 답의 근거로 참고하는 방식이지, 그 자료로 모델을 다시 학습시키는 것이 아닙니다. 다만 외부 모델에 전달되는 내용은 답을 쓰는 데 필요한 부분으로 최소화해야 하고, 자료를 찾고 분석하는 일은 회사 안에서 하는 것이 원칙입니다.
Q. AI 도입에서 모델 선택보다 먼저 해야 할 일은 무엇인가요?
데이터 정리입니다. 견적, 계약, 정산, 의사결정의 근거가 서로 다른 서비스와 파일에 흩어져 있으면 아무리 좋은 모델을 붙여도 찾을 자료가 없거나 찾아도 믿을 수 없습니다. 회사의 기록이 한 시스템에서 구조를 갖추고 쌓이도록 만드는 것이 먼저입니다.
Q. AI가 모든 직원의 자료를 다 읽어도 되나요?
안 됩니다. AI는 질문한 사람의 권한 안에서만 자료를 찾고 답해야 합니다. 직원은 자기 메일만, 관리자는 승인된 범위만 볼 수 있듯이 AI의 검색 범위도 같은 권한을 따라야 하며, 답에는 근거가 된 원본이 함께 따라와야 합니다.
