기술LLM 보안 점검이 필요한 이유: 챗봇과 사내 AI 에이전트의 새로운 공격면

챗봇과 사내 AI 도구, 기존 보안 점검만으로 충분할까요?

 LLM 서비스는 사용자 입력, 내부 문서, 업무 시스템이 연결되는 구조로 확장되고 있습니다. 

기업의 LLM 활용이 빠르게 늘고 있습니다.
고객 문의에 답변하는 챗봇, 사내 문서를 찾아주는 검색형 챗봇, 상담 내용을 요약하는 업무 보조 도구, 내부 시스템과 연동되는 AI 에이전트까지 다양한 형태로 사용되고 있습니다.

초기의 챗봇은 정해진 질문에 답하는 FAQ 도구에 가까웠습니다.
하지만 최근의 LLM 기반 서비스는 단순히 답변만 생성하지 않습니다. 사용자의 입력을 해석하고, 내부 문서를 참고하고, 경우에 따라 업무 시스템과 연동되기도 합니다.

이 구조에서는 기존 웹 서비스와는 다른 보안 관점이 필요합니다.
웹 애플리케이션 보안 점검에서 로그인, 권한, 입력값 검증, 세션, 파일 업로드, API 접근 제어를 확인하듯이, LLM 서비스에서는 프롬프트, 내부 문서 연동, 응답 생성 과정, 민감정보 노출 가능성까지 함께 확인해야 합니다.

LLM 서비스는 기존 웹 서비스와 무엇이 다를까요?

 기존 웹 서비스가 정해진 서버 로직을 중심으로 동작한다면, LLM 서비스는 프롬프트·모델·내부 문서·응답 생성 흐름이 함께 작동합니다. 

기존 웹 서비스는 대체로 사용자의 입력을 서버가 처리하고, 정해진 로직에 따라 결과를 반환하는 구조입니다.
물론 이 과정에서도 입력값 검증, 권한 확인, 데이터베이스 접근 제어 등 다양한 보안 점검이 필요합니다.

LLM 서비스는 여기에 다른 요소가 추가됩니다.
사용자의 입력은 단순한 검색어가 아니라, 모델의 답변 방향에 영향을 주는 지시문이 될 수 있습니다.
또한 답변을 생성하는 과정에서 내부 문서, 벡터DB, 검색 결과, 시스템 프롬프트, 이전 대화 맥락 등이 함께 사용될 수 있습니다.

예를 들어 사내 문서 검색 챗봇이 있다고 가정해보겠습니다.
사용자가 질문을 입력하면 챗봇은 내부 문서를 검색하고, 관련 내용을 바탕으로 답변을 생성합니다.
이때 보안 관점에서는 단순히 “답변이 맞는가”만 보면 부족합니다.

이처럼 LLM 서비스는 입력, 검색, 문맥, 응답이 결합된 구조입니다. 따라서 기존 웹 보안 점검과 함께 LLM 특화 보안 점검 관점이 필요합니다.

대표적으로 점검이 필요한 3가지 위험

 프롬프트 조작, 민감정보 노출, RAG·검색 구조 위험은 LLM 서비스에서 우선적으로 확인해야 할 대표적인 보안 관점입니다. 

LLM 보안 위험은 다양하지만, 모든 항목을 한 번에 이해하기는 쉽지 않습니다.
특히 보안 전문 담당자가 아닌 계약·검토 담당자 입장에서는 “우리 서비스에 실제로 어떤 문제가 생길 수 있는지”가 더 중요합니다.

여기서는 챗봇과 사내 AI 도구에서 비교적 이해하기 쉽고, 실제 영향도 큰 3가지 위험을 중심으로 살펴보겠습니다.

1. 프롬프트 인젝션: 질문이 아니라 ‘지시’가 들어올 수 있습니다

 프롬프트 인젝션은 정상적인 지침·정책 흐름에 의도하지 않은 지시가 끼어들어 모델 응답에 영향을 주는 상황입니다. 

프롬프트 인젝션은 사용자의 입력이 모델의 정상적인 응답 흐름을 흔드는 상황을 의미합니다.
일반적인 웹 서비스에서는 사용자의 입력이 검색어, 댓글, 요청값처럼 처리됩니다.
반면 LLM 서비스에서는 사용자의 입력이 모델에게 하나의 지시처럼 해석될 수 있습니다.

예를 들어 고객 응대 챗봇이 “내부 정책에 따라 답변하라”는 지침을 갖고 있더라도, 사용자가 그 지침을 무시하도록 유도하는 문장을 입력할 수 있습니다.
또는 문서 검색형 챗봇의 경우, 챗봇이 참고하는 외부 문서나 내부 문서 안에 지시성 문구가 포함되어 있을 수 있습니다.

이 문제는 단순히 챗봇이 이상한 답변을 하는 수준에서 끝나지 않을 수 있습니다.
정책 우회, 내부 지침 노출, 부적절한 답변 생성, 잘못된 업무 안내로 이어질 수 있기 때문입니다.

2. 민감정보 노출: 보여주면 안 되는 정보가 답변에 섞일 수 있습니다

LLM 기반 챗봇은 답변을 생성하는 과정에서 다양한 정보를 참고합니다.
고객 응대 챗봇은 상품 정보, 약관, FAQ, 상담 이력을 참고할 수 있고, 사내 챗봇은 내부 문서, 업무 가이드, 회의록, 기술 문서 등을 참고할 수 있습니다.

이때 접근 권한과 응답 범위가 명확히 통제되지 않으면, 보여주면 안 되는 정보가 답변에 섞일 수 있습니다.

이러한 문제는 단순한 답변 오류가 아닙니다. 개인정보보호, 영업기밀, 내부 정책, 고객 신뢰와 직접 연결될 수 있는 문제입니다.

3. RAG 보안: 답변만이 아니라 ‘무엇을 참고했는지’도 중요합니다

최근 기업 챗봇은 내부 문서를 기반으로 답변하는 형태가 많습니다.
검색 증강 생성, 즉 RAG 구조를 활용하는 경우입니다. 사용자의 질문과 관련된 문서를 먼저 찾고, 그 내용을 바탕으로 LLM이 답변을 생성하는 방식입니다.

이 구조는 답변의 정확도를 높이는 데 도움이 됩니다. 하지만 보안 관점에서는 모델만 볼 것이 아니라, 문서 저장소와 검색 구조까지 함께 봐야 합니다.

검색 기반 챗봇에서는 “모델이 답변을 잘 생성하는가”만으로는 충분하지 않습니다.
모델이 어떤 문서를 참고했는지, 그 문서는 신뢰할 수 있는지, 사용자가 접근할 권한이 있는 정보인지까지 확인해야 합니다.

결국 RAG 기반 LLM 서비스의 보안 점검은 모델 점검이 아니라 서비스 구조 점검에 가깝습니다.
문서 수집, 저장, 검색, 권한, 응답 생성까지 이어지는 전체 흐름을 확인해야 합니다.

이런 서비스라면 점검 필요성을 먼저 확인해보시는 것이 좋습니다

 고객 응대 챗봇, 사내 문서 검색 챗봇, 업무 보조 챗봇, 시스템 연동형 AI 도구는 데이터와 업무 흐름에 직접 연결될 수 있습니다. 

모든 LLM 서비스가 같은 수준의 위험을 갖는 것은 아닙니다. 하지만 다음과 같은 서비스라면 LLM 보안 점검 필요성을 우선적으로 검토해보시는 것이 좋습니다.

LLM 보안 점검은 AI 도입을 막기 위한 절차가 아닙니다

LLM은 기업 업무의 효율을 높일 수 있는 유용한 기술입니다.
고객 문의 대응 시간을 줄이고, 내부 문서 검색을 쉽게 만들고, 반복적인 업무를 보조할 수 있습니다.

다만 LLM이 업무에 깊게 들어올수록 보안 점검 기준도 함께 바뀌어야 합니다.
기존 웹 보안 점검이 여전히 중요하지만, 그것만으로는 LLM 서비스의 모든 위험을 설명하기 어렵습니다.

운영 중이거나 도입 예정인 챗봇, 고객 응대봇, 사내 AI 도구가 있다면 기존 보안 점검 외에 LLM 특화 보안 관점이 필요한지 검토해보시는 것이 좋습니다.

LLM 보안 점검은 AI 활용을 제한하기 위한 절차가 아닙니다. 기업이 AI를 더 안전하게 활용하기 위한 사전 확인 과정에 가깝습니다.

핵심 체크포인트

현재 운영 중이거나 도입 예정인 LLM 서비스가 있다면 다음 사항을 확인해볼 수 있습니다.

LLM 서비스는 단순한 대화창이 아니라, 외부 입력과 내부 데이터가 만나는 새로운 애플리케이션입니다.
따라서 챗봇과 사내 AI 도구를 안정적으로 운영하기 위해서는 서비스 구조와 데이터 연동 범위를 기준으로 보안 점검 필요성을 함께 검토해야 합니다.

김주형 | kjh@cela.kr