En guide till AI-förordningen för dig som utvecklare av AI-system

AI-förordningen har varit på alla AI-användares läppar sen den trädde i kraft 1 augusti 2024. Förordningen är ett resultat av EU:s balansgång mellan att främja utvecklingen av AI i unionen och att hämma riskerna med AI. Friheten att utveckla AI-system har sedan AI förordningens ikraftträdande påverkats. Det finns flera förhållningsregler som AI-utvecklare, (benämns leverantörer i förordningen), nu måste ta hänsyn till. Med kunskap om regelverket behöver reglerna inte begränsa AI-utvecklare i alltför stor omfattning. I den här artikeln klargörs spelplanen för dig som utvecklar AI-system.

Undrar du vad som egentligen utgör ett AI-system? Den frågan besvaras i en annan artikel som vi har skrivit, du hittar den här.

Olika regler beroende på risk
Utvecklare av AI-system faller i regeln inom kategorin ”leverantör” i AI förordningens systematik. I AI förordningen delas AI-system upp i olika riskkategorier, där risknivån bestämmer vilka regler som leverantören måste uppfylla. Tanken bakom det riskbaserade upplägget är att regelbördan ska vara proportionerlig i förhållande till riskerna med AI-systemet. De olika risknivåerna är minimal risk, begränsad risk, hög risk och oacceptabel risk. För att ni ska veta vilka regler som gäller för er verksamhet behöver ni först klassificera risken som ert AI-system innebär. Nedan presenteras de olika riskkategorierna kortfattat. Därefter kan ni läsa några exempel på krav för just er riskkategori.

AI-system med minimal risk
Kategorin av AI-system som har minimal eller ingen risk omfattar alla system som inte faller inom någon av de övriga kategorierna i AI förordningen. Det vill säga system som inte innefattar oacceptabel risk, hög risk eller begränsad risk. En gemensam faktor för dessa system är att de inte utgör någon omfattande fara för individer och samhället i stort, och utför simplare och begränsade uppgifter. Exempel på dessa är spamfilter i eposttjänster, stavningsprogram och automatiserade kalenderbokningar.

AI-system med begränsad risk
Dessa system interagerar ofta med människor och kan påverka hur information presenteras. Exempel på den här typen av AI-system är AI-baserade chattbotar i kundtjänst och AI som genererar ljud, bild eller video, såsom deepfakes (AI-generade bilder eller videos som är en form av syntetisk media).

AI-system med hög risk
AI-system med hög risk är en grupp som lagstiftarna anser kan ha en särskild inverkan på människors rättigheter och säkerhet. För att ett AI-system ska falla inom den här kategorin måste två separata förhållanden föreligga.

1. AI-systemet måste användas som en säkerhetskomponent i en produkt, eller vara en egen produkt, som faller inom EU:s produktsäkerhetslagstiftning. Några exempel på produktsäkerhetslagar som omfattas av klassificeringen är leksaker, personlig skyddsutrustning, medicintekniska produkter, motorfordon, maskiner och skyddssystem som används vid potentiellt explosiva atmosfärer.
2. Den produkt som AI-systemet används i är av ett slag som måste genomgå en tredjepartsbedömning innan den släpps ut på marknaden eller tas i bruk.

Utöver dessa två kriterier finns det AI-system som automatiskt klassas som hög risk. Dessa behandlas i bilaga III till AI förordningen och omfattar bland annat AI-system som används inom biometri, kritisk infrastruktur, rekrytering, kreditvärdering och riskbedömningar i samband med tecknandet av försäkringar. Däremot kan AI-systemet som anges i bilaga III undantas från klassificeringen som hög risk om det inte utgör en betydande risk för skada på personers hälsa, säkerhet eller grundläggande rättigheter. Så kan vara fallet om AI-systemet ska förbättra en tidigare utförd mänsklig uppgift eller om systemet endast utför en snäv processuell uppgift.

AI-system med oacceptabel risk
Gruppen av AI-system med oacceptabel risk återges i form av en lista av användningsområden som AI inte får användas till. Dessa användningsområden är bl.a.:

• AI-system som med hjälp av subliminala system, undermedvetna stimuli, påverkar eller vilseleder människor att fatta ett beslut som de annars inte hade fattat. Denna påverkan ska med rimlig sannolikhet orsaka betydande skada för personer.
• AI-system som utnyttjar personers sårbarhet genom att få dem att fatta beslut som de annars inte hade fattat. Det kan handla om sårbarhet på grund av ålder, funktionsnedsättning eller en specifik social eller ekonomisk situation. Även den här användningen ska med rimlig sannolikhet orsaka skada för personer.
• AI-system som granskar personers sociala beteenden eller personlighet för att tillämpa social poängsättning, så kallad ”social scoring”. Systemen ska kunna leda till skadlig eller ogynnsam behandling av personer som är oproportionerlig eller omotiverad i förhållande till den insamlade data som systemet har.
• AI-system som utför riskbedömningar av personer för att bedöma risken att personen begår brott. Detta kan vara tillåtet om systemet endast stödjer mänskliga bedömningar som görs med hjälp av objektiva och verifierbara fakta.
• AI-system som utövar ansiktsigenkänning genom oriktad datainsamling (skrapning) av exempelvis övervakningskameror eller internet.

Vilja regler gäller för mitt AI-system?
Nedan förklaras de regler som gäller för varje riskkategori. När du känner till vilken kategori som ert AI-system tillhör, kan du fokusera på den gruppen av regler.

AI-system med minimal risk
AI-förordningen innehåller inga obligatoriska krav för AI-system som innebär minimal eller ingen risk. Det kan emellertid vara värt att uppmärksamma att systemet kan träffas av andra regelverk, exempelvis GDPR. Det finns även frivilliga uppförandekoder som kan vara bra att överväga att integrera i verksamheten, EU-kommissionen har vid tidpunkten för den här artikeln publicerat ett tredje utkast av en allmän AI-uppförandekod. Dessutom är listan över AI-system som innebär hög risk dynamisk och EU-kommissionen kan komma att lägga till fler AI-system under den riskklassificeringen. Om ni har påbörjat det regulatoriska arbetet i samband med utvecklingen av AI-system blir det enklare att anpassa sig till en eventuell omklassificering.

AI-system med begränsad risk
Det finns ett krav som träffar AI-system med begränsad risk – transparensskyldigheten. Den innebär att personer som använder systemet måste veta att de interagerar med AI. Det kan innebära att utdata i form av text, bild eller deepfakes är märkta med information om att materialet är AI-genererat. Transparensskyldigheten är mer omfattande om AI-systemet utför känsloigenkänning eller biometrisk kategorisering. I dessa fall ska användarna även informeras om systemets drift.

AI-system med hög risk
I AI-förordningen är AI-system med hög risk den grupp som träffas av flest krav. Det ställs krav på bland annat processuella och administrativa åtgärder. Nedan sammanfattas de viktigaste kraven.

• AI-förordningen kräver att ett riskhanteringssystem ska inrättas för verksamheter som utvecklar AI-system med hög risk. Riskhanteringssystemet ska identifiera risker med AI-systemet och anta lämpliga riskhanteringsåtgärder som utformas för att bemöta de identifierade riskerna. Riskhanteringssystemet ska vara aktivt under hela livscykeln för AI-systemet.
• De AI-system som bygger på träningsmodeller där data används ska uppfylla särskilda kvalitetskrav. För tränings-, validerings- och testdata ska det finnas särskilda förvaltningsmetoder och en hantering som bland annat bygger på relevanta utformningsval, undersökning avseende eventuella biaser och datainsamlingsprocesser som inkluderar uppgifternas ursprung. Därutöver ska även den data som används vara relevant, tillräckligt representativ och fullständig med hänsyn till AI-systemets avsedda ändamål.
• Det ställs även krav på teknisk dokumentation som ska vara på plats innan AI-systemet släpps ut på marknaden. Dokumentationen ska omfatta information som visar att AI-systemet är förenligt med AI-förordningens krav, det vill säga de som återges i detta avsnitt. Det finns en bilaga till förordningen som mer precist förklarar vilket innehåll som ska inkluderas i den tekniska dokumentationen.
• Det ställs även krav på att AI-systemet automatiskt ska registrera händelser under hela systemets livstid, detta kallas för loggar. De händelser som ska loggas är bland annat när det uppstår situationer där AI-systemet kan innebära en risk. Om dessa loggar står under leverantörens kontroll ska de sparas under en lämplig period, minst sex månader.
• AI-systemet ska utformas på ett transparent sätt så att tillhandahållare kan förstå driften av systemet och tolka dess utdata. Tillhandahållarna, användarna av systemet som inte är utvecklaren själv, ska kunna förstå hur systemet används på ett lämpligt sätt, vilket exempelvis kan möjliggöras genom en digital bruksanvisning.
• AI-systemet ska utformas på ett sätt som möjliggör mänsklig kontroll. Detta krav är mer känt som ett krav på human in the loop. Den mänskliga kontrollen ska utövas för att minska systemets risker för hälsa, säkerhet och mänskliga rättigheter när AI-systemet används.
• AI-förordningen ställer krav på AI-systemets riktighet, robusthet och cybersäkerhet. Under hela systemets livscykel ska det uppfylla en lämplig nivå avseende riktighet, robusthet och cybersäkerhet. Kommissionen ska ta fram mätmetoder och riktmärken för att specificera kravet. Redan i dagsläget kan det vara bra att se över AI-systemets nivå avseende dessa tre områden. Om AI-systemet är integrerat i en produkt kan verksamheten även träffas av andra regelverk från EU, exempelvis cyberresiliensförordningen (”CRA”). Setterwalls har i en annan artikel behandlat vad som gäller för CRA, där återges även åtgärder för att öka cybersäkerheten. Ni hittar artikeln här.
• AI förordningen ställer krav på att leverantörer av AI-system med hög risk ska inrätta ett kvalitetsstyrningssystem i syfte att säkra efterlevnaden av AI förordningen. Kvalitetsstyrningssystemet ska vara proportionerligt till verksamhetens omfattning och bland annat omfatta en strategi för regelefterlevnad, ett förfarande för rapportering av en allvarlig incident samt systematiska åtgärder för kvalitetskontroll av AI-systemet.
• Tillsammans med AI-systemet ska leverantörens namn och adress anges.
• Förordningen ställer även omfattande krav på förvaring av dokumentation. I regel ska information sparas i 10 år. Det rör sig bland annat om information avseende kvalitetsstyrningssystemet och teknisk dokumentation.
• AI-systemet behöver även genomgå en bedömning innan det får släppas ut på marknaden. Dessa bedömningar är olika omfattande beroende på vilken typ av AI-system med hög risk som det rör sig om.
• Det finns även en rad administrativa åtgärder som måste genomföras. En EU-försäkran måste utarbetas, systemet ska märkas med en CE märkning samt registreringsskyldigheter ska fullgöras.
• Förordningen ställer krav på att leverantörer korrigerar fel i systemet och informerar marknadskontrollmyndigheten om risker uppstår. Verksamheten måste även kunna tillhandahålla information till behöriga myndigheter som visar att AI-förordningens regler efterlevs. Slutligen finns även vissa tillgänglighetskrav.

AI-system med oacceptabel risk
Dessa system är förbjudna och får inte släppas ut på EU:s marknad. Det finns däremot snäva undantag för användningen av biometrisk fjärridentifiering i realtid. Undantagen gäller framför allt för brottsförebyggande verksamhet.

Välkomna till oss på Setterwalls
AI-förordningen har fört med sig en rad förändringar som ställer olika krav på utvecklare av AI-system. Regelverket innehåller klassificeringar och en systematik som kan vara svårtolkad. Setterwalls har goda kunskaper om regelverket och kan hjälpa er att identifiera vilken kategori som ert AI-system tillhör. AI-förordningen kan kräva att verksamheter vidtar åtgärder av varierande slag. Vi har lång erfarenhet av regulatoriska frågor och hjälper er gärna att navigera i de nya reglera för AI.