OWASP Top 10 for LLM

교묘한 입력을 통해 대규모 언어 모델(LLM)을 조작하여 LLM이 의도하지 않은 작업을 수행하도록 합니다. 직접 인젝션은 시스템 프롬프트를 덮어쓰고, 간접 인젝션은 외부 소스의 입력을 조작합니다.

LLM의 민감한 정보에는 PII, 금융, 건강, 비즈니스, 보안 및 법적 데이터가 포함됩니다. 독점 모델은 고유한 훈련 방법 및 소스 코드로 인한 위험에 직면합니다.

LLM 공급망은 훈련 데이터, 모델 및 플랫폼에서 위험에 직면하여 편향, 침해 또는 실패를 초래합니다. 기존 소프트웨어와 달리 ML 위험에는 제3자 사전 훈련 모델 및 데이터 취약점이 포함됩니다.

데이터 포이즈닝은 사전 훈련, 미세 조정 또는 임베딩 데이터를 조작하여 취약점, 편향 또는 백도어를 유발합니다. 위험에는 성능 저하, 유해한 출력, 독성 콘텐츠 및 다운스트림 시스템 손상이 포함됩니다.

부적절한 출력 처리는 다운스트림 사용 전에 LLM 출력의 부적절한 검증을 포함합니다. 악용에는 XSS, CSRF, SSRF, 권한 상승 또는 원격 코드 실행이 포함되며, 이는 과도한 의존과 다릅니다.

LLM 시스템은 확장, 도구 또는 플러그인을 통해 프롬프트에 따라 행동할 수 있는 에이전시를 얻습니다. 에이전트는 동적으로 확장을 선택하고 반복적인 LLM 호출을 수행합니다.

시스템 프롬프트 유출은 LLM 프롬프트의 민감한 정보가 의도치 않게 노출되어 공격자가 비밀을 악용할 수 있게 합니다. 이러한 프롬프트는 모델 동작을 안내하지만 의도치 않게 중요한 데이터를 노출할 수 있습니다.

LLM과 함께 RAG의 벡터 및 임베딩 취약점은 약한 생성, 저장 또는 검색을 통한 악용을 허용합니다. 이는 유해한 콘텐츠를 주입하거나, 출력을 조작하거나, 민감한 데이터를 노출할 수 있습니다.

LLM 잘못된 정보는 거짓이고 신뢰할 수 있는 출력이 사용자를 오도할 때 발생하여 보안 침해, 평판 손상 및 법적 책임의 위험이 있습니다.

무제한 소비는 LLM 애플리케이션이 과도하고 통제되지 않은 추론 요청을 허용할 때 발생합니다. 서비스 거부(DoS), 비용 급증(Denial of Wallet), 모델 복제 등의 위험으로 이어질 수 있습니다.