ISO/IEC 23894 — Upravljanje rizicima AI sustava

Što je ovaj dokument?

ISO/IEC 23894:2023 međunarodni je standard naslova "Information technology — Artificial intelligence — Guidance on risk management" koji pruža smjernice organizacijama za upravljanje rizicima povezanim s AI sustavima. Objavljen je u veljači 2023. od strane ISO/IEC JTC 1/SC 42.

Za razliku od ISO/IEC 42001 koji uspostavlja sustav upravljanja, ISO/IEC 23894 se fokusira specifično na proces upravljanja rizicima — identifikaciju, procjenu i ublažavanje rizika specifičnih za AI tijekom cijelog životnog ciklusa sustava.

Ključne točke

Odnos s ISO 31000

ISO/IEC 23894 nadograđuje se na uspostavljene principe iz ISO 31000:2018, šireg međunarodnog standarda za upravljanje rizicima. Ovaj pristup osigurava kompatibilnost s postojećim organizacijskim praksama upravljanja rizicima, dok istovremeno adresira izazove specifične za AI.

Standard ne stvara potpuno novu metodologiju, već proširuje poznate koncepte upravljanja rizicima s AI-specifičnim razmatranjima.

Ključni elementi standarda

1. Principi upravljanja rizicima AI sustava

• Integracija s postojećim organizacijskim procesima upravljanja rizicima
• Razmatranje rizika tijekom cijelog životnog ciklusa AI sustava
• Uključivanje zainteresiranih strana u proces procjene rizika

2. Okvir za upravljanje rizicima

• Vodstvo i predanost organizacije
• Dizajn okvira prilagođen kontekstu organizacije
• Implementacija, evaluacija i poboljšavanje okvira

3. Proces upravljanja rizicima

• Komunikacija i konzultacija — Kontinuirani dijalog sa zainteresiranim stranama
• Uspostavljanje konteksta — Definiranje unutarnjih i vanjskih parametara
• Identifikacija rizika — Prepoznavanje AI-specifičnih izvora rizika
• Analiza rizika — Određivanje vjerojatnosti i učinka
• Evaluacija rizika — Prioritizacija rizika za tretiranje
• Tretiranje rizika — Odabir i implementacija mjera ublažavanja
• Praćenje i pregled — Kontinuirano praćenje rizika i učinkovitosti mjera

AI-specifični rizici koje standard adresira

Standard identificira rizike specifične za AI sustave:

• Pristranost i diskriminacija — Nenamjerna pristranost u podacima za treniranje ili algoritmima
• Nedostatak objašnjivosti — Nemogućnost objašnjenja kako AI sustav dolazi do odluka
• Robusnost i pouzdanost — Ponašanje sustava u nepredviđenim situacijama
• Privatnost podataka — Rizici povezani s obradom osobnih podataka
• Sigurnost — Ranjivosti AI sustava na napade (adversarial attacks)
• Autonomija sustava — Rizici povezani s razinom autonomije AI sustava
• Zavisnost o podacima — Kvaliteta i reprezentativnost podataka za treniranje

Životni ciklus AI sustava

Standard naglašava da se rizici moraju razmatrati u svim fazama:

1. Planiranje i dizajn
2. Prikupljanje i priprema podataka
3. Razvoj i treniranje modela
4. Validacija i testiranje
5. Implementacija i puštanje u rad
6. Operativno korištenje i praćenje
7. Povlačenje iz uporabe

Kako se primjenjuje na organizacije?

Relevantnost za EU AI Act

ISO/IEC 23894 izravno podržava ispunjavanje zahtjeva članka 9. EU AI Acta koji propisuje sustav upravljanja rizicima za visokorizične AI sustave:

• Identifikacija poznatih i predvidivih rizika za zdravlje, sigurnost ili temeljna prava
• Procjena rizika koji se mogu pojaviti pri uporabi u skladu s namjenom
• Procjena rizika koji proizlaze iz razumno predvidljive zlouporabe
• Ublažavanje i kontrola identificiranih rizika

Razlika između ISO 23894 i ISO 42001

Aspekt	ISO/IEC 42001	ISO/IEC 23894
Fokus	Sustav upravljanja AI-jem	Proces upravljanja rizicima
Tip	Zahtjevi (certifikabilan)	Smjernice (nije certifikabilan)
Opseg	Širi — cijeli sustav upravljanja	Uži — specifično upravljanje rizicima
Pristup	Organizacijski okvir	Praktične smjernice za proces

Praktični koraci za implementaciju

1. Uspostavite kontekst — Definirajte opseg primjene i kriterije rizika za vaše AI sustave
2. Identificirajte rizike — Koristite popis AI-specifičnih rizika iz standarda kao polazište
3. Analizirajte rizike — Procijenite vjerojatnost i učinak svakog identificiranog rizika
4. Definirajte mjere — Odaberite odgovarajuće mjere ublažavanja za svaki rizik
5. Implementirajte — Provedite mjere i integrirajte ih u operativne procese
6. Pratite — Kontinuirano pratite rizike i učinkovitost mjera
7. Dokumentirajte — Održavajte zapise o cijelom procesu upravljanja rizicima

Relevantni članci EU AI Acta

Članak	Povezanost s ISO 23894
Čl. 9.	Sustav upravljanja rizicima → Cijeli standard
Čl. 9. st. 2.	Identifikacija i analiza rizika → Proces identifikacije
Čl. 9. st. 4.	Mjere upravljanja rizicima → Tretiranje rizika
Čl. 9. st. 7.	Testiranje sustava → Validacija i evaluacija
Čl. 72.	Praćenje nakon tržišta → Kontinuirano praćenje rizika

Izvorni dokument

Službena stranica standarda: ISO/IEC 23894:2023 — AI — Guidance on risk management