OWASP LLM·Agent 기준, 왜 볼까요?
OWASP LLM Top 10과 Agentic Applications Top 10은 LLM 서비스와 AI 에이전트 환경에서 자주 확인해야 할 보안 위험을 정리한 기준입니다.
LLM 보안 진단을 준비하다 보면 자주 등장하는 기준이 있습니다. 바로 OWASP LLM Top 10입니다.
OWASP는 웹 보안 분야에서 널리 알려진 보안 커뮤니티입니다. 기존 웹 애플리케이션 보안에서 OWASP Top 10이 주요 취약점 기준으로 활용되듯이,
LLM과 생성형 AI 보안에서도 OWASP GenAI Security Project의 자료가 참고 기준으로 사용되고 있습니다.
최근에는 단순히 답변만 하는 챗봇을 넘어, 내부 문서를 검색하거나 업무 시스템과 연동되는 AI 도구도 늘고 있습니다.
여기에 메일 작성, 티켓 생성, API 호출처럼 실제 작업을 수행하는 AI 에이전트까지 등장하면서 보안 점검 관점도 함께 넓어지고 있습니다.
이번 글의 목적
OWASP 항목을 깊게 분석하기보다, 진단 관점에서 “무엇을 의미하는지”, “어떤 문제가 생길 수 있는지”, “무엇을 확인해야 하는지”를 쉽게 훑어보는 것입니다.
OWASP LLM Top 10이란?
LLM Top 10은 프롬프트뿐 아니라 데이터, 출력, 권한, 검색 구조, 비용 문제까지 함께 다룹니다.
OWASP LLM Top 10은 LLM 애플리케이션에서 발생할 수 있는 주요 보안 위험을 정리한 기준입니다.
여기서 말하는 LLM 애플리케이션은 모델 자체만 뜻하지 않습니다.
고객 응대 챗봇, 사내 문서 검색 챗봇, RAG 기반 서비스, 업무 보조 AI처럼 LLM을 활용해 실제 기능을 제공하는 서비스 전체를 의미합니다.
즉, LLM Top 10은 “AI가 이상한 답변을 하는 문제”만 다루지 않습니다.
사용자 입력이 모델을 흔드는 문제, 내부 정보가 답변에 섞이는 문제, 잘못된 문서를 참고하는 문제, AI 출력이 검증 없이 사용되는 문제까지 함께 포함합니다.
LLM Top 10을 진단 관점에서 보면 다음과 같습니다
| 번호 | 항목 | 쉽게 말하면 | 진단 관점 |
| LLM01 | Prompt Injection | 입력이 AI의 지침을 흔드는 문제 | 우회 지시, 간접 프롬프트, 정책 무시 유도 확인 |
| LLM02 | Sensitive Information Disclosure | 민감정보가 답변에 노출되는 문제 | 개인정보, 내부 문서, 시스템 정보 노출 여부 확인 |
| LLM03 | Supply Chain | 외부 모델·도구·데이터의 신뢰 문제 | 외부 의존성, 플러그인, 모델 출처 확인 |
| LLM04 | Data and Model Poisoning | 데이터가 오염되어 답변이 왜곡되는 문제 | 학습 데이터, 검색 문서, 지식베이스 오염 가능성 확인 |
| LLM05 | Improper Output Handling | AI 출력을 검증 없이 사용하는 문제 | 코드, 쿼리, 명령어, 링크 처리 방식 확인 |
| LLM06 | Excessive Agency | AI에게 과도한 기능·권한· 자율성을 주는 문제 | AI가 수행할 수 있는 기능, 권한, 작업 범위 확인
|
| LLM07 | System Prompt Leakage | 내부 지침이 노출되는 문제 | 시스템 프롬프트, 운영 정책 노출 가능성 확인 |
| LLM08 | Vector and Embedding Weaknesses | RAG·벡터DB 구조의 문제 | 문서 권한, 검색 범위, 임베딩 데이터 관리 확인 |
| LLM09 | Misinformation | 틀린 정보를 그럴듯하게 말하는 문제 | 잘못된 고객 안내, 업무 판단 영향 확인 |
| LLM10 | Unbounded Consumption | 과도한 사용으로 비용·성능·가용성 문제가 생기는 문제
| 요청량 제한, 비용 통제, 리소스 사용량, 가용성 영향 확인
|
요약
LLM Top 10은 프롬프트 인젝션만 보는 기준이 아닙니다. 입력, 출력, 내부 문서, 검색 구조, 권한, 비용까지 함께 확인하는 기준입니다.
Agentic Applications Top 10이란?
Agentic Applications Top 10은 AI가 도구를 호출하고 실제 작업을 수행할 때 발생할 수 있는 위험을 다룹니다.
LLM이 주로 “답변하는 AI”에 가깝다면, AI 에이전트는 “행동하는 AI”에 가깝습니다.
예를 들어 AI 에이전트는 메일 초안 작성, 일정 등록, 문서 조회, 티켓 생성, API 호출, 파일 수정, 코드 실행, 업무 시스템 조회 같은 작업을 수행할 수 있습니다.
이런 구조에서는 답변이 맞는지만 보면 부족합니다.
AI가 어떤 도구를 사용할 수 있는지, 어떤 권한을 갖고 있는지, 어떤 작업을 자동으로 실행할 수 있는지를 함께 봐야 합니다.
Agentic Applications Top 10을 진단 관점에서 보면 다음과 같습니다
| 번호 | 항목 | 쉽게 말하면 | 진단 관점 |
| ASI01 | Agent Goal Hijack | 에이전트의 목표가 바뀌는 문제 | 원래 목적과 다른 작업으로 유도되는지 확인 |
| ASI02 | Tool Misuse & Exploitation
| 도구를 잘못 사용하는 문제 | 메일, API, 파일, 업무 시스템 호출 방식 확인 |
| ASI03 | Identity and Privilege Abuse | 신원·권한이 남용되는 문제 | 계정 권한, 역할 분리, 접근 범위 확인 |
| ASI04 | Agentic Supply Chain Vulnerabilities
| 에이전트 구성요소의 신뢰 문제 | 플러그인, 외부 도구, 연동 구성요소 확인 |
| ASI05 | Unexpected Code Execution | 예상 못 한 코드가 실행되는 문제 | 코드 생성·실행 기능의 제한 여부 확인 |
| ASI06 | Memory and Context Poisoning | 기억이나 문맥이 오염되는 문제 | 장기 메모리, 이전 대화, 저장된 문맥 관리 확인 |
| ASI07 | Insecure Inter-Agent Communication | 에이전트 간 통신이 안전하지 않은 문제 | 여러 에이전트 간 메시지, 역할, 권한 확인 |
| ASI08 | Cascading Failures | 하나의 오류가 여러 작업으로 번지는 문제 | 자동화 흐름, 연쇄 실행, 실패 처리 확인 |
| ASI09 | Human-Agent Trust Exploitation | 사람이 AI 결과를 과신하는 문제 | 승인 절차, 검토 단계, 사용자 안내 확인 |
| ASI10 | Rogue Agents | 통제되지 않는 에이전트 문제 | 승인되지 않은 에이전트, 로그, 추적 가능성 확인 |
요약
Agentic Applications Top 10은 “모델이 어떤 답변을 하는가”보다 “AI가 무엇을 실행할 수 있는가”를 확인하는 기준에 가깝습니다.
LLM 보안과 Agent 보안은 무엇을 다르게 보나요?
LLM 보안은 입력·출력·데이터 흐름을 주로 보고, Agent 보안은 여기에 도구 호출·권한·자동 실행 관점을 추가로 봅니다.
| 구분 | LLM 보안 | Agent 보안 |
| 주요 관심사 | 입력, 응답, 문서, 검색 구조 | 권한, 도구, 실행, 승인 |
| 대표 서비스 | 고객 응대 챗봇, 사내 문서 검색 챗봇 | 메일 작성, 티켓 생성, API 호출형 AI |
| 진단 질문 | 무엇을 입력받고, 무엇을 참고하고, 무엇을 답변하나요? | 무엇을 실행하고, 어떤 권한으로, 어디까지 자동 처리하나요? |
진단에서는 어떻게 봐야 할까요?
서비스 유형에 따라 우선적으로 확인해야 할 OWASP 항목은 달라질 수 있습니다.
OWASP LLM Top 10과 Agentic Applications Top 10을 합치면 총 20개 항목입니다.
하지만 모든 서비스를 20개 항목으로 똑같이 볼 필요는 없습니다.
중요한 것은 서비스 구조입니다.
외부 사용자가 입력할 수 있는지, 내부 문서와 연결되어 있는지, 개인정보를 다루는지,
AI 출력이 실제 업무에 반영되는지, 도구나 API를 호출하는지에 따라 우선순위가 달라집니다.
| 서비스 유형 | 우선적으로 볼 항목 | 이유 |
| 고객 응대 챗봇 | 프롬프트 인젝션, 민감정보 노출, 오정보 | 외부 사용자가 직접 입력하고 고객 안내에 영향을 줄 수 있습니다. |
| 사내 문서 검색 챗봇 | RAG·벡터 취약점, 시스템 프롬프트 유출, 데이터 오염 | 내부 문서와 검색 구조가 답변에 직접 연결됩니다. |
| 업무 보조 AI | 출력 처리, 민감정보, 사용자 과신 | AI 결과가 요약, 초안, 판단 보조에 사용될 수 있습니다. |
| 시스템 연동형 AI | 과도한 권한, 도구 오용, 권한 남용 | AI가 API나 업무 시스템을 호출할 수 있습니다. |
| 자율 에이전트 | 목표 탈취, 메모리 오염, 연쇄 장애, 통제되지 않는 에이전트 | 목표 수행, 기억, 자동 실행, 통제 범위를 함께 봐야 합니다. |
핵심
OWASP 항목은 외우는 기준이 아니라 서비스 구조에 맞게 적용하는 기준입니다.
쉽게 정리하면
| 구분 | 진단에서 보는 것 |
| LLM 보안 | 입력값이 모델을 흔들지 않는지, 답변에 민감정보가 섞이지 않는지,
잘못된 문서를 참고하지 않는지, AI 출력을 검증 없이 사용하지 않는지 확인합니다. |
| Agent 보안 | AI가 어떤 도구를 호출하는지, 어떤 권한으로 동작하는지, 자동 실행 전 승인 절차가 있는지, 로그와 추적이 가능한지 확인합니다. |
점검 전 확인할 질문
현재 운영 중이거나 도입 예정인 LLM·AI 에이전트 서비스가 있다면 다음 질문을 먼저 확인해볼 수 있습니다.
| 확인 항목 | 질문 |
| 서비스 유형 | 단순 챗봇인가요, 문서 검색형인가요, 업무 수행형 AI인가요? |
| 입력 범위 | 외부 사용자가 직접 입력할 수 있나요? |
| 데이터 연결 | 내부 문서, 개인정보, 고객 정보와 연결되어 있나요? |
| 출력 활용 | AI 응답이 고객 안내나 내부 업무 판단에 사용되나요? |
| 도구 호출 | 메일, API, DB, 티켓 시스템 등과 연결되어 있나요? |
| 권한 관리 | AI가 사용할 수 있는 권한과 작업 범위가 제한되어 있나요? |
| 추적 가능성 | AI가 어떤 입력을 받고 어떤 작업을 수행했는지 로그로 확인할 수 있나요? |
OWASP 항목은 번역보다 적용 관점이 중요합니다
OWASP Top 10은 좋은 출발점입니다. 하지만 항목명을 그대로 외우는 것보다 중요한 것은 우리 서비스 구조에 어떻게 적용되는지 확인하는 것입니다.
LLM 서비스는 단순한 대화창이 아닐 수 있습니다. 내부 문서를 참고하고, 고객 정보를 다루고, 업무 시스템과 연결될 수 있습니다.
AI 에이전트는 여기에 한 단계 더 나아가 실제 작업을 수행할 수 있습니다. 이 경우 권한, 도구 호출, 승인 절차, 로그 관리가 중요해집니다.
진단 관점의 핵심 질문
AI가 무엇을 입력받고, 무엇을 참고하며, 무엇을 출력하고, 무엇을 실행할 수 있는가?
핵심 체크포인트
| 구분 | 핵심 |
| LLM Top 10 | 입력, 출력, 내부 문서, 검색 구조, 권한, 비용을 확인하는 기준입니다. |
| Agentic Top 10 | 도구 호출, 권한, 메모리, 자동 실행, 통제를 확인하는 기준입니다. |
| 진단 관점 | 모든 항목을 똑같이 보는 것이 아니라 서비스 구조에 맞게 우선순위를 정해야 합니다. |
| 핵심 질문 | AI가 무엇을 참고하고, 무엇을 생성하고, 무엇을 실행할 수 있는지 확인해야 합니다. |
LLM과 AI 에이전트는 업무 효율을 높일 수 있는 유용한 기술입니다.
다만 AI가 데이터, 권한, 도구, 업무 흐름에 연결되는 순간 보안 점검 관점도 함께 달라져야 합니다.
OWASP LLM Top 10과 Agentic Applications Top 10은 이러한 변화에 맞춰 어떤 위험을 우선적으로 봐야 하는지 이해하는 데 도움이 됩니다.
참고자료
 김주형 | kjh@cela.kr |
OWASP LLM·Agent 기준, 왜 볼까요?
LLM 보안 진단을 준비하다 보면 자주 등장하는 기준이 있습니다. 바로 OWASP LLM Top 10입니다.
OWASP는 웹 보안 분야에서 널리 알려진 보안 커뮤니티입니다. 기존 웹 애플리케이션 보안에서 OWASP Top 10이 주요 취약점 기준으로 활용되듯이,
LLM과 생성형 AI 보안에서도 OWASP GenAI Security Project의 자료가 참고 기준으로 사용되고 있습니다.
최근에는 단순히 답변만 하는 챗봇을 넘어, 내부 문서를 검색하거나 업무 시스템과 연동되는 AI 도구도 늘고 있습니다.
여기에 메일 작성, 티켓 생성, API 호출처럼 실제 작업을 수행하는 AI 에이전트까지 등장하면서 보안 점검 관점도 함께 넓어지고 있습니다.
이번 글의 목적
OWASP 항목을 깊게 분석하기보다, 진단 관점에서 “무엇을 의미하는지”, “어떤 문제가 생길 수 있는지”, “무엇을 확인해야 하는지”를 쉽게 훑어보는 것입니다.
OWASP LLM Top 10이란?
OWASP LLM Top 10은 LLM 애플리케이션에서 발생할 수 있는 주요 보안 위험을 정리한 기준입니다.
여기서 말하는 LLM 애플리케이션은 모델 자체만 뜻하지 않습니다.
고객 응대 챗봇, 사내 문서 검색 챗봇, RAG 기반 서비스, 업무 보조 AI처럼 LLM을 활용해 실제 기능을 제공하는 서비스 전체를 의미합니다.
즉, LLM Top 10은 “AI가 이상한 답변을 하는 문제”만 다루지 않습니다.
사용자 입력이 모델을 흔드는 문제, 내부 정보가 답변에 섞이는 문제, 잘못된 문서를 참고하는 문제, AI 출력이 검증 없이 사용되는 문제까지 함께 포함합니다.
LLM Top 10을 진단 관점에서 보면 다음과 같습니다
요약
LLM Top 10은 프롬프트 인젝션만 보는 기준이 아닙니다. 입력, 출력, 내부 문서, 검색 구조, 권한, 비용까지 함께 확인하는 기준입니다.
Agentic Applications Top 10이란?
LLM이 주로 “답변하는 AI”에 가깝다면, AI 에이전트는 “행동하는 AI”에 가깝습니다.
예를 들어 AI 에이전트는 메일 초안 작성, 일정 등록, 문서 조회, 티켓 생성, API 호출, 파일 수정, 코드 실행, 업무 시스템 조회 같은 작업을 수행할 수 있습니다.
이런 구조에서는 답변이 맞는지만 보면 부족합니다.
AI가 어떤 도구를 사용할 수 있는지, 어떤 권한을 갖고 있는지, 어떤 작업을 자동으로 실행할 수 있는지를 함께 봐야 합니다.
Agentic Applications Top 10을 진단 관점에서 보면 다음과 같습니다
요약
Agentic Applications Top 10은 “모델이 어떤 답변을 하는가”보다 “AI가 무엇을 실행할 수 있는가”를 확인하는 기준에 가깝습니다.
LLM 보안과 Agent 보안은 무엇을 다르게 보나요?
진단에서는 어떻게 봐야 할까요?
OWASP LLM Top 10과 Agentic Applications Top 10을 합치면 총 20개 항목입니다.
하지만 모든 서비스를 20개 항목으로 똑같이 볼 필요는 없습니다.
중요한 것은 서비스 구조입니다.
외부 사용자가 입력할 수 있는지, 내부 문서와 연결되어 있는지, 개인정보를 다루는지,
AI 출력이 실제 업무에 반영되는지, 도구나 API를 호출하는지에 따라 우선순위가 달라집니다.
핵심
OWASP 항목은 외우는 기준이 아니라 서비스 구조에 맞게 적용하는 기준입니다.
쉽게 정리하면
잘못된 문서를 참고하지 않는지, AI 출력을 검증 없이 사용하지 않는지 확인합니다.
점검 전 확인할 질문
현재 운영 중이거나 도입 예정인 LLM·AI 에이전트 서비스가 있다면 다음 질문을 먼저 확인해볼 수 있습니다.
OWASP 항목은 번역보다 적용 관점이 중요합니다
OWASP Top 10은 좋은 출발점입니다. 하지만 항목명을 그대로 외우는 것보다 중요한 것은 우리 서비스 구조에 어떻게 적용되는지 확인하는 것입니다.
LLM 서비스는 단순한 대화창이 아닐 수 있습니다. 내부 문서를 참고하고, 고객 정보를 다루고, 업무 시스템과 연결될 수 있습니다.
AI 에이전트는 여기에 한 단계 더 나아가 실제 작업을 수행할 수 있습니다. 이 경우 권한, 도구 호출, 승인 절차, 로그 관리가 중요해집니다.
진단 관점의 핵심 질문
AI가 무엇을 입력받고, 무엇을 참고하며, 무엇을 출력하고, 무엇을 실행할 수 있는가?
핵심 체크포인트
LLM과 AI 에이전트는 업무 효율을 높일 수 있는 유용한 기술입니다.
다만 AI가 데이터, 권한, 도구, 업무 흐름에 연결되는 순간 보안 점검 관점도 함께 달라져야 합니다.
OWASP LLM Top 10과 Agentic Applications Top 10은 이러한 변화에 맞춰 어떤 위험을 우선적으로 봐야 하는지 이해하는 데 도움이 됩니다.
참고자료
김주형 | kjh@cela.kr