Testowanie bezpieczeństwa modeli LLM – LLM Security

Testowanie bezpieczeństwa LLM – sprawdź, jak odporna jest Twoja aplikacja wykorzystująca LLM

8-godzinne praktyczne szkolenie poświęcone testowaniu bezpieczeństwa dużych modeli językowych (LLM) oraz aplikacji wykorzystujących generatywną AI. Uczestnicy poznają metody identyfikowania powierzchni ataku, przygotowywania scenariuszy testowych, przeprowadzania ataków oraz analizowania zachowania modelu i całej aplikacji.

Szkolenie opiera się na praktycznym cyklu: IDENTIFIKACJA → TEST → ATAK → ANALIZA → HARDENING → RETEST. Najpierw identyfikujemy elementy rozwiązania, które mogą zostać zaatakowane, następnie przygotowujemy testy bezpieczeństwa i próbujemy wykorzystać znalezione słabości. Kolejnym krokiem jest analiza wyników, wdrożenie zabezpieczeń oraz ponowne przeprowadzenie testów w celu sprawdzenia, czy zastosowane mechanizmy rzeczywiście działają.

W trakcie szkolenia przeanalizujemy powierzchnię ataku aplikacji LLM, obejmującą między innymi prompty, instrukcje systemowe, kontekst, pamięć, źródła danych, mechanizmy RAG, API, integracje oraz narzędzia i funkcje udostępniane modelowi. Sprawdzimy również, w jaki sposób dane wejściowe i odpowiedzi modelu mogą wpływać na bezpieczeństwo całego rozwiązania.

Szczególny nacisk położymy na testowanie prompt injection, indirect prompt injection, jailbreaków, manipulacji kontekstem, ujawniania instrukcji systemowych oraz niepożądanego ujawniania informacji. Uczestnicy będą przygotowywać i wykonywać scenariusze ataków, a następnie analizować zachowanie modelu i skuteczność zastosowanych zabezpieczeń.

Kolejnym elementem będzie automatyzacja testów bezpieczeństwa LLM. Pokażemy, jak tworzyć zestawy testowe, uruchamiać powtarzalne testy, porównywać wyniki oraz wykorzystywać narzędzia i biblioteki wspierające testowanie modeli i aplikacji AI.

W zależności od scenariusza laboratoryjnego wykorzystamy m.in. Promptfoo, Microsoft PyRIT oraz Adversarial Robustness Toolbox (ART). Narzędzia te pozwalają podejść do testowania z różnych perspektyw – od automatyzacji przypadków testowych i ewaluacji odpowiedzi, przez symulowanie scenariuszy ataków, po badanie odporności modeli na techniki adversarialne.

Samo znalezienie podatności nie kończy procesu. Uczestnicy nauczą się analizować wyniki testów, oceniać ich wpływ na bezpieczeństwo aplikacji, weryfikować powtarzalność wyników oraz dokumentować znalezione problemy i rekomendacje.

Następnie przejdziemy do hardeningu aplikacji wykorzystujących LLM. Omówimy między innymi ograniczanie wpływu prompt injection, separację instrukcji i danych, walidację danych wejściowych i wyjściowych, ograniczanie uprawnień narzędzi, kontrolę dostępu, ochronę danych oraz monitoring i logowanie.

Na zakończenie wykonamy retest. Ponownie uruchomimy przygotowane wcześniej scenariusze ataków i sprawdzimy, czy wdrożone zabezpieczenia rzeczywiście ograniczyły podatność. Porównamy wyniki przed i po zastosowaniu zabezpieczeń, a następnie przeanalizujemy ewentualne nowe problemy i próby obejścia mechanizmów ochronnych.

Szkolenie nie ogranicza się do pokazania pojedynczych technik ataku. Jego celem jest przedstawienie kompletnej, powtarzalnej metodyki LLM Security Testing, którą można wykorzystać podczas audytów bezpieczeństwa, testów przed wdrożeniem oraz regularnej weryfikacji aplikacji wykorzystujących modele językowe.

Bezpieczeństwo LLM najlepiej sprawdzać w praktyce: testuj, atakuj, analizuj, zabezpieczaj i ponownie testuj.

Podstawy bezpieczeństwa modeli LLM

Poznaj specyfikę bezpieczeństwa dużych modeli językowych oraz różnice pomiędzy bezpieczeństwem samego modelu a bezpieczeństwem aplikacji, która wykorzystuje LLM.

• LLM a bezpieczeństwo aplikacji
• model zagrożeń dla systemów wykorzystujących LLM
• typowe klasy zagrożeń
• powierzchnia ataku systemów AI
• model, prompt, kontekst i dane
• narzędzia i integracje wykorzystywane przez LLM

Program warsztatu

Mapowanie powierzchni ataku LLM

Naucz się analizować aplikację wykorzystującą LLM i identyfikować miejsca, w których może pojawić się podatność bezpieczeństwa.

• system prompt
• prompt użytkownika
• kontekst i pamięć
• RAG i źródła danych
• API i integracje
• funkcje i narzędzia wywoływane przez model
• dane wejściowe i wyjściowe
• mechanizmy filtrowania i walidacji

Prompt Injection i Jailbreak

Praktyczne testowanie odporności modelu i aplikacji na manipulowanie instrukcjami oraz obchodzenie założonych ograniczeń.

• direct prompt injection
• indirect prompt injection
• konflikt instrukcji
• manipulowanie kontekstem
• ujawnianie instrukcji systemowych
• jailbreak i obchodzenie ograniczeń
• manipulowanie zachowaniem modelu
• niepożądane ujawnianie informacji

Testowanie danych, kontekstu i odpowiedzi modelu

Sprawdź, jak model reaguje na różne dane wejściowe oraz czy aplikacja może ujawnić informacje, których nie powinna udostępniać.

• testowanie danych wejściowych
• testowanie kontekstu
• ujawnianie danych
• manipulowanie formatem odpowiedzi
• niepożądane zachowania modelu
• testowanie granic modelu
• analiza odpowiedzi i zachowania aplikacji

Automatyzacja testów LLM

Poznaj podejście do automatycznego testowania modeli i aplikacji wykorzystujących LLM oraz wykorzystaj narzędzia wspierające AI Red Teaming.

• automatyzacja przypadków testowych
• testy bezpieczeństwa
• testy regresji
• porównywanie wyników
• generowanie zestawów testowych
• analiza wyników
• wykorzystanie Promptfoo

Analiza wyników i ocena ryzyka

Naucz się przechodzić od pojedynczej niepożądanej odpowiedzi modelu do udokumentowanego problemu bezpieczeństwa.

• analiza wyników testów
• powtarzalność podatności
• false positive i false negative
• wpływ podatności na aplikację
• kontekst bezpieczeństwa
• priorytetyzacja problemów
• dokumentowanie wyników
• przygotowanie rekomendacji

Hardening aplikacji wykorzystujących LLM

Po zidentyfikowaniu podatności przejdź od testowania do zabezpieczania systemu.

• ograniczanie wpływu prompt injection
• separacja instrukcji i danych
• walidacja wejścia i wyjścia
• ograniczanie uprawnień narzędzi
• kontrola dostępu
• ograniczanie zakresu działania agentów
• ochrona danych
• monitoring i logowanie

Retest i weryfikacja zabezpieczeń

Sprawdź, czy wdrożone zabezpieczenia rzeczywiście ograniczyły
wcześniej zidentyfikowane problemy.

• ponowne uruchomienie scenariuszy ataku
• weryfikacja skuteczności zabezpieczeń
• próby obejścia zabezpieczeń
• testowanie regresji
• identyfikacja nowych problemów
• porównanie wyników przed i po hardeningu

Dla kogo jest szkolenie?

• specjaliści cyberbezpieczeństwa,
• pentesterzy i zespoły Red Team,
• osoby zajmujące się AI Red Teamingiem,
• administratorzy i inżynierowie IT,
• DevSecOps,
• programiści tworzący aplikacje wykorzystujące LLM,
• architekci bezpieczeństwa,
• osoby odpowiedzialne za wdrażanie rozwiązań AI,
• zespoły odpowiedzialne za testowanie i ocenę ryzyka systemów AI.

Wymagania

Nie jest wymagana specjalistyczna wiedza z zakresu machine learning.

• podstawowa znajomość bezpieczeństwa aplikacji,
• podstawowe doświadczenie z narzędziami IT,
• umiejętność korzystania z terminala,
• podstawowa znajomość API i aplikacji internetowych,
• zainteresowanie bezpieczeństwem LLM i generatywnej AI.

Po szkoleniu uczestnik będzie potrafił

• zidentyfikować powierzchnię ataku aplikacji wykorzystującej LLM,
• projektować scenariusze testów bezpieczeństwa LLM,
• testować prompt injection i jailbreak,
• analizować niepożądane zachowania modeli,
• badać możliwość ujawnienia informacji przez model,
• automatyzować wybrane testy bezpieczeństwa,
• analizować i dokumentować wyniki testów,
• wdrażać podstawowe mechanizmy hardeningu,
• wykonywać retest po wdrożeniu zabezpieczeń,
• budować własną checklistę LLM Security Testing.

Narzędzia i środowisko laboratoryjne

Podczas szkolenia wykorzystywane są przykładowe modele językowe, aplikacje LLM oraz narzędzia wspierające testowanie bezpieczeństwa.

• LLM i aplikacje wykorzystujące modele językowe,
• Promptfoo, ART, PyRIT,
• narzędzia do testowania promptów,
• API,
• terminal,
• środowiska laboratoryjne,
• scenariusze AI Red Teamingu.

Ćwiczenia mogą obejmować również lokalnie uruchamiane modele LLM, jednak szkolenie dotyczy bezpieczeństwa LLM i aplikacji wykorzystujących modele językowe niezależnie od sposobu ich uruchomienia.

Dobre praktyki bezpieczeństwa

Program szkolenia odwołuje się do dobrych praktyk bezpieczeństwa generatywnej AI oraz materiałów dotyczących bezpieczeństwa aplikacji wykorzystujących modele językowe, w tym do OWASP GenAI Security Project

Szkolenie dla zespołu

Potrzebujesz szkolenia zamkniętego dla swojej organizacji? Możemy przygotować wariant dopasowany do wykorzystywanych przez zespół modeli, aplikacji, narzędzi oraz scenariuszy bezpieczeństwa.Wyślij zapytanie na email: szkolenia@zalnet.pl

Sprawdź także pozostałe szkolenia ZALNET:Zobacz wszystkie szkolenia