Omfattas vi av AI-förordningen? Er guide för att identifiera ett AI-system

Användningen av AI har ökat explosionsartat de senaste åren och AI-förordningen har, sedan den trädde i kraft 1 augusti 2024, blivit en het snackis i media och i styrelserummen. Många företag vill arbeta mer med AI och köper därför in eller utvecklar AI-tjänster på löpande band – men många gånger görs det dessvärre utan en föregående analys av om inköpet eller utvecklingen kan medföra skyldigheter för företaget. Med ett sanktionssystem likt GDPR kan det bli dyrt för de företag som inte följer AI-förordningen. I den här artikeln reder vi ut vad som egentligen utgör ett AI-system så att ni kan få stöd i att avgöra om ni kommer att bli föremål för kraven i AI-förordningen.

Vad säger AI-förordningen?
I AI-förordningen beskrivs ett AI-system som: ”ett maskinbaserat system som är utformat för att fungera med varierande grad av autonomi och som kan uppvisa anpassningsförmåga efter införande och som, för uttryckliga eller underförstådda mål, drar slutsatser härledda från den indata det tar emot, om hur utdata såsom förutsägelser, innehåll, rekommendationer eller beslut som kan påverka fysiska eller virtuella miljöer ska genereras.”.

Definitionen kan ses som en checklista där alla kriterier måste uppfyllas för att det ska röra sig om ett AI-system i förordningens mening. Kraven omfattar både AI-systemets träningsperiod innan den släpps ut på marknaden, samt dess användningsperiod. Det innebär att ett system som uppfyller definitionen av ett AI-system någon gång under dessa två perioder omfattas av AI-förordningens krav.

1. Är vårt system maskinbaserat?

Systemet behöver grunda sig dels på hårdvara i form av processorer eller lagringsenheter, dels på mjukvara i form av kod, program eller operativsystem. Detta är en relativt självklar komponent eftersom alla AI-system behöver någon form av maskin för att kunna utföra träning av modeller, processande av data, prediktiv modellering samt storskaligt automatiskt beslutsfattande. Med andra ord behöver AI-system vara datordrivna och baserade på maskinell drift.

2. Kan vårt system fungera autonomt?

Ett AI-system är autonomt i den bemärkelsen att systemet kan bedrivas med en viss grad av självständighet från mänskligt ingripande. Ett tydligt exempel på ett autonomt system är en lösning som sorterar inkommande fakturor i ett förutbestämt system, utan att en person behöver genomföra någon åtgärd för att fakturorna ska hamna rätt. Gråzonerna i dessa fall kan vara svårare att bedöma. Är till exempel en förprogrammerad algoritm som en person manuellt ger indata (”input”) ett autonomt system? Svaret är ja, det utgör ett system som bedrivs med viss grad av självständighet eftersom systemet utifrån dess input från användaren producerar ett förslag utan att en människa manuellt och specifikt kontrollerar hur outputen formuleras. Om ett system kan producera utdata utan att det krävs mänskligt ingripande av något slag är det autonomt.

3. Har vårt AI-system en förmåga att anpassa sig?

Anpassningsförmåga innebär att AI-systemet kan anpassa sig när det är under användning, vilket ofta kallas för självinlärningskapacitet. Det innebär att ett system kan producera förändrade resultat efter att det har utvecklat nya beteenden. En traditionell algoritm är ett exempel på ett system som inte fortsätter att utvecklas efter den tas i bruk, utan den förbestämda funktionen är konstant. I definitionen av ett AI-system är inslag av anpassningsförmåga inte ett krav, utan en faktor som talar för att det rör sig om ett AI-system.

4. Innehåller vårt AI-system förutbestämda mål?

De förutbestämda målen kan antingen vara uttryckliga eller underförstådda. De uttryckliga målen är tydligt beskrivna i kod av systemutvecklare och kan till exempel vara optimering av en kostnadsfunktion, en sannolikhetsberäkning eller en kumulativ belöning. Underförstådda mål kan istället härledas ur systemets beteenden och underliggande antaganden som i sin tur uppstår utifrån träningsdata eller systemets interaktion med omgivningen. Gemensamt är att målen är kopplade till avsikten med de uppgifter AI-systemet ska utföra samt resultatet av dessa.

Målen ska däremot inte blandas ihop med systemets avsedda syfte. Syftet är externt orienterat och baseras på den omgivning som AI-systemet ska operera i, till exempel vilken data som systemet använder och vilka användarinstruktioner det får. Syftet definieras av användaren som bestämmer hur systemet ska användas inom dennes verksamhet, till exempel att hjälpa till med vissa uppgifter på en avdelning. Detta syfte uppnås inte bara med hjälp av systemets interna mål, utan kräver instruktioner från användaren, integration i ett större arbetsflöde eller data som systemet ska använda. Syftet kan således vara ett annat än målet med systemet som istället är internt orienterat och avser målen med uppgifterna som ska utföras samt resultatet.

5. Kan vårt system dra egna slutsatser?

Slutledningsförmåga är en tydlig särskiljande faktor som separerar ett AI-system från ett vanligt IT-system. Återigen kan exemplet med klassiska algoritmer användas. Om ett system är baserat på regler som helt och hållet är definierade av en människa i syfte att verkställa uppgifter drar systemet inte egna slutsatser. Det bygger istället på systematiken ”om X så Y”. I exemplet med maskininlärning (”machine learning”) lär sig modellen att urskilja mönster i stora mängder av etiketterade data för att exempelvis kunna upptäcka cancer i screeningprocesser, sortera bort spammail eller flagga för bedrägeritransaktioner. Det kan också röra sig om en mer passiv inlärning där generativ AI lär sig att se mönster, strukturer eller relationer mellan data som inte explicit anges av utvecklaren. Ytterligare exempel är bildigenkänning, språkmodeller som förutspår fortsättningen av en text eller feedbackbaserade modeller som lär sig av ”trial and error” (så kallad reinforcement learning).

En annan AI-teknik som används är logik- och kunskapsbaserade modeller som lär sig av kunskap, regler, fakta och relationer som kodats av utvecklaren. AI-systemet drar då slutsatser genom deduktion, induktion, sortering eller matchning för att nämna några exempel. I praktiken kan det röra sig om modeller som processar språk baserat på grammatisk kunskap och logisk semantik, eller diagnosverktyg som drar slutsatser utifrån angivna symptom med hjälp av kodad expertkunskap.

6. Kan vår utdata påverka fysiska eller virtuella miljöer?

Systemet behöver även kunna leverera utdata i form av förutsägelser, innehåll, rekommendationer eller beslut som kan påverka fysiska eller virtuella miljöer. Denna funktion kan även traditionella IT-system ha men det som skiljer dem från ett AI-system är att det senare har en förmåga att hantera komplexa samband och mönster i data. Det möjliggör för systemet att ge mer nyanserad utdata på grund av träningsperioden för modellen eller när den förses med förbestämda regler från experter. Dessa former av utdata ska aktivt påverka sin närliggande miljö, såsom dataflöden och ett systems ekosystem. Exempel på vilken utdata det kan röra sig om är:

• Förutsägelser som estimerar en okänd variabel utifrån den indata systemet får. För att det ska ses som ett AI-system måste det ha förmågan att upptäcka avancerade mönster i data och göra träffsäkra förutsägelser i dynamiska och komplexa miljöer. Självkörande bilar är exempel på när ett AI-system tvingas gör snabba och komplicerade förutsägelser om trafiksituationer, där de olika utfallen kan vara i princip oändliga.
• Innehåll som produceras av ett AI-system i form av bland annat text, bilder, videos och musik. Ett klassiskt exempel är generativ AI såsom ChatGPT, Deepseek och Microsoft Copilot (så kallad ”Generative Pre-trained Transformer” (GPT) teknologi).
• Rekommendationer som ofta är förslag på specifika handlingar, produkter eller tjänster till användare. Dessa baseras på användarens preferenser, beteenden eller annan indata. Det kan också röra sig om förslag på kandidater i ett rekryteringssystem.
• Beslut som är slutsatser och val som ett system gör. I dessa fall rör det sig om en helt automatiserad process där systemets resultat blir ett beslut som påverkar dess omgivning, till exempel automatiserade tillståndsprocesser där en bank automatiskt godkänner en ansökan om anstånd.

Sammanfattningsvis så är ert system sannolikt ett AI-system om ni svarat ”ja” på frågorna ovan. Förordningen har dock tagit höjd för de snabba teknologiska förändringarna inom AI och definitionen är därför baserad på karaktärsdrag. Det finns med andra ord inte en uttömmande lista på de system som avses och även framtidens AI-system ska kunna omfattas av tillämpningsområdet.

Vi har ett AI-system – vad gör vi nu?
Om ert system är att klassificera som ett AI-system enligt checklistan ovan, så innebär det att ni måste beakta vad som anges i AI-förordningen. Förordningen är riskbaserat och innehåller olika krav beroende på systemets risknivå. Det finns även ett förbud mot vissa typer av AI-system. Ni behöver därför avgöra vilken typ av riskkategori just ert system faller inom för att därefter identifiera vilka åtgärder ni behöver vidta.

Undrar ni vilka lagkrav ni måste uppfylla i rollen som utvecklare av ett AI-system? Den frågan besvaras i en annan artikel som vi har skrivit, ni hittar den här.

Välkommen till oss på Setterwalls
Om ni vill ha hjälp med att avgöra om det är ett AI-system ni har att göra med eller vill veta hur just ert system klassificera så är ni varmt välkomna att höra av er till oss. Vi har lång erfarenhet av den här typen av frågor och hjälper er gärna med att göra bedömningar eller hålla föreläsningar för er verksamhet eller ledning för att öka kunskapsnivån om AI (här kan noteras att kunskapskravet är ett fristående krav i AI-förordningen och gäller oaktat vilken riskkategori systemet faller inom).

Ni är även välkomna att kontakta oss för en konsultation så att ni kan säkerställa att ert företag är redo för framtidens AI-utmaningar och kan ta tillvara på de fördelar som AI har att erbjuda och begränsa dess risker.