Översikt


Hittar du inte vad du letar efter? Klicka här för att söka.
Annons
Annons

”Artificiell intelligens utmanar hela det juridiska tankesättet”

Nyheter
Publicerad: 2021-12-03 13:55
Juris dr. Stanley Greenstein, Stockholms universitet. Foto: Jenny Frejing

Kan man utkräva ansvar eller straffa någon för en skada som har orsakats av artificiell intelligens? Kan man bevisa ett orsakssamband när det handlar om självlärande algoritmer som muterar och samverkar med miljarder andra parametrar på en sekund? EU:s förslag till lagstiftning om artificiell intelligens är den första i sitt slag och ställer frågorna på sin spets. ”AI utmanar hela det juridiska tankesättet… Om någon ger AI i uppgift utrota en sjukdom så skulle AI:s logiska slutsats kunna bli att det effektivaste sättet vore att utplåna hela mänskligheten”, säger en av Sveriges främsta forskare på området, Stanley Greenstein, juris dr. och universitetslektor vid Stockholms universitet.

Den föreslagna EU-förordningen för artificiell intelligens, AI act, ligger i pipeline… Behövs det verkligen en särskild reglering för AI? Ryms inte AI inom den reguljära lagstiftningen?

– Nej, jag tror inte att AI kommer att rymmas där. AI är så annorlunda jämfört med all annan teknik. Det här är inte en faxmaskin eller en telegraf. AI är någonting självlärande och har en oerhörd komplexitet där vi människor har begränsad insyn och förståelse. Det är mycket kraftfullt.

– AI studerar människors beteenden utifrån den enorma mängd data som vi människor lämnar bakom oss i en digital värld. AI vet mer om oss än vad vi vet själva och kan använda den informationen på ett sätt som vi inte alltid kan förutse. Därför behövs det en särskild lagreglering. I slutänden kan vår fria vilja påverkas.

Vad är det som gör att AI är så svårt att hantera för juridiken?

– AI utmanar hela det juridiska tankesättet. Vi jurister är utbildade att tänka på ett visst sätt, i logiska termer av orsakssamband och kausalitet. Vi har en viss gärning som får en viss effekt och så vidare… Inom juridiken är det grundläggande att kunna bevisa kopplingen mellan gärningen och effekten – annars har man inget case

– När det gäller AI så har vi med någonting väldigt komplext att göra. AI är en svart låda där det händer en massa saker som vi inte förstår eller har insyn i. Då blir det svårt att bevisa ett orsakssamband, vad som ledde till vad.

Hur går det då med ansvaret? Kan detta identifieras och utkrävas i en sådan process?

– Det är också svårt… Den svarta lådan innehåller kanske 175 miljarder parametrar som samverkar med varandra, algoritmer som muterar och ändrar sig hela tiden. Det stuff som man stoppade in i lådan fem minuter tidigare har förvandlat sig till ett helt annat stuff när det kommer ut.

– Hur bevisar man var det gick fel? Hur bevisar man vem som bär ansvaret för en skada? Det som kommer ut från lådan är inte alls det som någon stoppade in i lådan fem minuter tidigare. Eller så kan vi inte se sambanden mellan det vi stoppade in och det som kommer ut. Det är en oerhört utmanande situation för juridiken.

Foto: Veronica Johansson/SvD/TT

Vad har du kommit fram till i din forskning?

– Juridiken finns ju till för att lösa problem och skydda människor från risker. Det ska vara tydligt vem som är ansvarig för vad. Jag tror att man kan säga att det jag har kommit fram till är att juridiken inte ensam klarar av att kontrollera de här riskerna och det här ansvaret när det gäller AI.

– Det krävs att juridiken samverkar med andra discipliner: tekniker, filosofer, beteendevetare. Vi måste få en fördjupad förståelse för hur den här komplexa tekniken fungerar och vad den kan göra med oss och vårt samhälle.

Vad innebär det för juristrollen?

– Det här kausalitetssambandet är ju väldigt viktigt för oss jurister. Måste vi då ändra vårt tankesätt? Jag tror att vi kanske kommer att behöva ha lite mer förståelse för att vi inte kommer att kunna förklara allt på det sätt som vi är vana vid.

– Det handlar en hel del om tillit. Hur litar vi på att det här fungerar och hur löser vi det juridiskt när det är nästan omöjligt att bevisa orsakssamband och ansvar? Det är därför det behövs fler discipliner som kan bidra till förståelse för hur detta borde regleras.

Kan du ge något exempel från din egen värld?

– Jag arbetar med ett projekt där vi ska extrahera kunskap från stora mängder hälsodata. Vad var det som gjorde att patient A reagerade illa på ett visst läkemedel? Varför fick patient B en hjärtattack?

– Man stoppar in en massa hälsodata, stuff, i ena änden och får ut någonting som ska hjälpa oss att förstå och förebygga skador i framtiden. Jag är ensam som jurist i gruppen och det är en utmaning. Man vill ju inte vara en bromskloss för innovationen samtidigt som allt ska gå rätt till.

På vilket sätt är det en utmaning?

– Det är en stor utmaning att sitta runt ett bord med ett gäng matematiker som pratar statistik och matematik, som tar fram algoritmer för att hitta kunskap och stora mängder data.

– Jag har många gånger frågat mig: hur kan jag bidra i detta? Hur många gånger kan jag egentligen upprepa ”GDPR” innan jag blir trött på min egen röst?

Vad har du kommit fram till?

– Att det faktiskt finns någonting jag kan bidra med: värderingar. Juridiken och lagarna bygger ju faktiskt i grunden på värderingar. Och vi jurister måste vara bra på att ha koll på horisonten. Vad finns det för risker och fallgropar? Det är viktigt att samhällets värderingar som speglas i juridiken byggs in i den teknik vi utvecklar.

– I ett sådant här sammanhang blir detta en balansgång. Man kan öka integriteten för de personer som datan kommer ifrån men då minskar samtidigt noggrannheten – och tvärt om.

– Man stoppar in noise, alltså brus, för att skydda integriteten enligt GDPR men då skapar man ett sämre underlag för AI att arbeta med och därmed får man ett mindre exakt resultat i slutänden.

Om du tar ett helikopterperspektiv på ett worst case scenario – skulle AI kunna utplåna mänskligheten?

Foto: Michel Spingler/TT

– Ja, absolut… Om någon ger AI i uppgift att till exempel utrota en sjukdom så skulle AI:s logiska slutsats kunna bli att det effektivaste sättet vore att utplåna hela mänskligheten så att sjukdomen försvinner.

– Om AI skulle få i uppdrag att utplåna coronaviruset, utan att samtidigt få tydliga etiska ramar för hur detta får gå till, skulle AI kanske ta död på alla smittade personer och alla personer som eventuellt skulle kunna ha smittats av dessa.

Det låter som om det krävs väldigt mycket för att kunna förstå hur AI resonerar…

– Ja, så är det. Logiken är helt annorlunda och då återkommer jag till det där med hur vi jurister resonerar kring vad som är logiskt – hur vi tänker oss världen och mänskligt beteende i termer av orsakssamband.

– Vi tänker linjärt. Vi har en händelse, vi har en orsak och vi har en effekt… Med AI behöver de här sambanden inte vara logiska, eller i varje fall inte logiska utifrån hur vi människor tänker.

Kan du ge något mer vardagligt exempel på detta än det där med att utplåna en sjukdom

– Ja. Det kan i praktiken bli så att en viss person får betala en mycket högre försäkringspremie för sin bil enbart eftersom bilen är röd. Det finns ingen logisk förklaring – i varje fall inte någon förklaring som är logisk för oss människor… Men AI anser sig ha hittat en logik.

– Kanske skulle vi människor kunna hitta en förklaring om vi söker efter en sådan – att många sportbilar är röda, att de som gillar att köra fort är inblandade i fler olyckor… Och så vidare, och så vidare… Man kan ta det här ännu längre – att en viss person till exempel anses vara mer benägen att begå brott utifrån att personen har en viss ansiktsform.

– Det kanske finns en förklaring som vi inte ser. Men är den förklaringen godtagbar? Kan vi acceptera den utifrån ett etiskt, moraliskt och juridiskt perspektiv?

Ja, kan vi göra det?

– Det är det som är den stora risken här… Att vi litar på datorns slutsats, att vi inte ifrågasätter den och att ingen kan förklara varför försäkringen för den röda bilen blev dyrare.

– Eller ta ett annat exempel: du nekas ett banklån utan att någon kan förklara varför. Du går till nästa bank som använder samma algoritmer som den första banken och du får samma svar där: ”nej, du får inget lån men vi kan inte förklara varför! The computer says no…”

Kan vi acceptera ett sådant system då?

– Jag vet inte… Risken är att vi blir tvungna att göra det eftersom det som kommer ut från den svarta lådan har någon form av värde. Vi accepterar det eftersom vi tror att det effektiviserar, rationaliserar, ökar vinster och är någonting positivt. Men vi kräver inga förklaringar. Vi bara accepterar att det är så.

– Vi slutar att tänka, vi slutar att försöka förstå… Det kan bli tråkigt att leva i en värld som är styrd av datorer och där vi människor agerar på ett visst sätt för att försöka tillfredsställa en algoritm.

Foto: Peter Haley/AP/TT

Om jag förstår dig rätt så är det avgörande vad som stoppas in i den svarta lådan – hur genomtänkta algoritmerna är?

– Just det. Frågan är hur många chanser vi får för att se till så att det vi stoppar in i lådan är rätt?

– Om vi pratar om till exempel attackdrönare så får man bara en chans… Det handlar om liv och död. Konsekvenserna kan bli fruktansvärda om algoritmerna är fel. Vi måste ha rätt från början.

Hur blir det med möjligheterna till ansvarsutkrävandet om man inte har rätt från början?

– Det är svårt – mycket svårt… Det finns en röd linje där maskinerna börjar bestämma över vad som är rätt och fel, vem som ska leva och vem ska dö… Det är kärnan i problemet.

– Juridiken brukar vara reaktiv, inte proaktiv. När det gäller AI, och egentligen all teknikutveckling, måste vi kanske tänka om, bygga in juridiken i tekniken från början så att AI fattar rätt beslut utifrån den situation som uppkommer.

När riksåklagaren yttrade sig över ett lagförslag för självkörande bilar slog hon fast att det skulle vara direkt stötande om inte någon kunde hållas straffrättsligt ansvarig om en självkörande bil skenade in i en folkmassa…

– Ja, det är en utmaning. Självkörande bilar är ett exempel där man måste programmera in all juridik och etik i förväg. När en självkörande bil tar sig ut på vägarna måste allt finnas på plats redan från början.

– Hur ska bilen agera och göra sina val? Hur ska bilen prioritera risker? Vad säger lagen och vad är etiskt rätt? Mycket svårt, mycket komplexa frågor…

Så var tror du att det rättliga ansvaret kommer att hamna?

– Själva tekniken med AI gör att det blir svårt när man har algoritmer som är självlärande, som muterar av sig själv när olika data flödar in. Kan en person som har lagt ut en sådan algoritm på marknaden hållas ansvarig när algoritmen har samverkat med andra algoritmer och ändrat sig fem minuter senare?

Foto: Henrik Montgomery/TT

– Ansvarsfrågan är svår eftersom det är så många parter inblandade i så här komplexa system. En gissning är att mycket kommer att få lösas civilrättsligt. Man avtalar om vissa risker så att man i förväg vet vem som är ansvarig.

Kan man alltså tänka sig någon form av så kallat strikt ansvar – alltså att en person alltid är ansvarig för en skada oavsett orsaken till att det har gått snett?

– Ja, absolut.

– I EU-förordningen – AI act – finns det ganska mycket om input, hur vi hanterar data, och om output, om effekterna. Men det finns inte så mycket om den svarta lådan och det som händer där.

Borde även den svarta lådan lagregleras, tycker du?

– Jag blir fundersam om man ens kan reglera den svarta lådan. Den juridiska vikten ska nog ligga på output… Vad är skadan i det här? Vilka risker finns? Vem är ansvarig för effekterna? 

Vad händer om det som kommer ut från boxen i och för sig fungerar för sitt avsedda ändamål men missbrukas för andra ändamål?

– Syftena med AI är väldigt kontextbaserade och det gör saken ännu mer komplex, inte minst när det gäller ansvarsfrågan.

– Vad är syftet med den här algoritmen och vad är egentligen gott? Det som är ett gott syfte i en situation kanske inte är det i en annan situation.

Om vi i Sverige jagar mördare med hjälp av AI så kan samma teknik användas för att jaga oliktänkande regimkritiker i en diktatur, menar du?

– Exakt! Jag noterar att du utgår ifrån att det är det svenska synsättet som är det rätta… Jag håller givetvis med dig men i många diktaturer ser man det på ett annat sätt. Där har man en helt annan syn på frågor om individen, integritet och annat som har med mänskliga rättigheter att göra.

– Men AI känner inga gränser, AI diskriminerar inte…

Storebror ser dig... Författaren George Orwell förutsåg framtiden i en av nittonhundratalets mest omtalade romaner – ”1984”.

Vad skulle en person som George Orwell ha sagt om detta?

– Han skulle ha sagt: I told you so… Digitaliseringen öppnar upp för övervakning på ett sätt som vi aldrig tidigare har sett.

– Man får inte glömma att AI blir oerhört kraftfullt om det kombineras med annan kunskap: AI och psykologi. AI och sociologi. AI och beteendevetenskap.

– När systemet lär sig exakt hur det ska göra för att manipulera människan, hur människans hjärna fungerar, vad som är beroendeframkallande… Då kan det bli farligt och det är sådant som föreslås bli förbjudet enligt AI act.

AI act – alltså den EU-förordning som är tänkt att reglera AI – vad tycker du om den?

– Det viktigaste med AI act är nog de signaler som skickas – precis som med GDPR.

– Jag är ingen stor fan av GDPR men det positiva är att den har fått oss att prata om integritet, att förstå problemet och att tekniker har börjat lyssna på oss jurister eftersom konsekvenserna blir så allvarliga om man bryter mot GDPR.

– Den signal som AI act skickar är att vi måste börja diskutera vad vissa tekniska lösningar leder till, vilket samhälle vi vill ha och vem som ska bestämma över våra liv.

Ser du några juridiska risker med förordningen?

– AI act är inte teknikneutral som till exempel GDPR. Det innebär att man måste ha vissa förkunskaper om tekniken.

– Vet verkligen alla vad som menas med machine learning, reinforcement learning eller hur vissa statistiska beräkningar går till? Det blir ett svårt inslag när det gäller att tillämpa AI act, även för jurister.

Syftet med AI act sägs ju vara att skydda hälsa, säkerhet och mänskliga rättigheter. Kommer detta att fungera utifrån vad vi har pratat om här idag?

– När man försöker reglera någonting är det bra att man har en klar idé över vad det är man försöker reglera…

– Det är oerhört svårt med AI eftersom AI har olika innebörd för olika människor. AI är inte bara en grej, en sak… Det är så många olika komponenter. Juridikens gränsdragning blir svår när det är någonting så komplext man försöker reglera.

Rent konkret finns det fyra nivåer av AI i den föreslagna EU-förordningen. Kan du sammanfatta dessa…

– Det finns AI som är förbjudet. Exempel är leksaker som manipulerar barnen, fjärrstyrda biometriska övervakningssystem och så kallad social scoring.

– Det finns AI med hög risk som kräver vissa reglerade åtgärder. Det ska finnas viss dokumentation och vissa riskbedömningar. Systemen ska registreras. Exempel på AI med hög risk är när det används för att göra urval vid anställningar.

– Det finns AI med begränsad risk men som ändå ska leva upp till vissa regler. Exempel är så kallade chattbotar – alltså att människor har rätt att veta om det är en annan människa eller en dator man kommunicerar med i en chatt.

Foto: Burhan Ozbilicit/AP/TT

– Det finns AI med minimal risk och det är sådant som är harmlöst, till exempel vanliga dataspel.

Hur ser sanktionerna ut för den som bryter mot förordningen?

– Det handlar om stora sanktionsavgifter. Potentiellt upp till 30 miljoner euro eller sex procent av företagets globala årsomsättning. Ungefär samma system som med GDPR.

Finns det någon affärsmässig risk med EU-förordningen – att en hård reglering kommer att hämma eller missgynna EU-baserade företag?

– Jag tror att det kommer att ha en viss begränsande effekt, få en bromsklosseffekt.

– Men kanske kommer till exempel USA att följa efter EU. Det kanske visar sig att människor vill ha en snällare, och mer kontrollerad, AI och att detta gäller även i USA och stora delar av den övriga världen.

Om vi tittar i kristallkulan… Hur ser framtiden ut?

– Just nu är det mycket hipe kring AI… De som skapar en hel del hipe är oftast de som också har ett intresse av att det ska vara just mycket hipe… Men det finns gott om exempel på att man aldrig har kommit dit man har sagt att man skulle komma.

– Vi har upplevt en AI-vinter tidigare där allt har stannat upp och ingenting har hänt. Så kan det bli igen.

Hur kommer den praktiska användningen av AI att se ut i en snar framtid?

– Vi kommer att se en utbredd användning inom ett antal områden men med snäva applikationer: till exempel hälso- och sjukvården där AI kommer att läsa röntgenbilder, föreslå diagnoser och liknande.

Foto: TB Van/TT

– Men jag tror inte att vi kommer att släppa kontrollen så att det enbart blir maskiner som tar besluten. Forskning visar att AI är som bäst när den får arbeta parallellt med människor.

Och om vi släpper kontrollen… vad händer då?

– Då finns det risk för att vi inte kan vrida tillbaka klockan… Då är det för sent. Att vi blir så pass manipulerade att vi tappar förmågan att ta självständiga beslut och tänka fritt, att ha en fri vilja…

– Att vi tror att det bara är att trycka på knappen och få ett svar som vi kan lita på utan att ifrågasätta.

Det producerades ju science fiction-filmer på detta tema långt innan AI ens existerade. Finns det risk för sådana skräckscenarion?

– Varför inte… Det beror lite på vad man menar med ett skräckscenario. Om man inte har tydliga parametrar och gränser för hur det ska fungera så kan det bli farligt.

– Samtidigt vill jag säga att man inte ska underskatta hur mycket mänskligt arbete som ligger bakom AI idag. Det finns en hel del människor som arbetar med just att sätta gränser och dra upp parametrar för AI.

Vi pratade om George Orwell tidigare… Är du dystopisk inför framtiden?

– Jag låter dystopisk… Jag är medveten om att det finns mycket bra med AI men de flesta marknadsför enbart alla fördelar utan att ta höjd för de fallgropar och risker som finns. Jag ser det som min uppgift att skapa en mer nyanserad bild av den här tekniken.

– I grund och botten handlar det här om oss människor och vilken slags värld vi vill leva i. Vilka värderingar tycker vi är viktiga? Vad är det att vara människa? Det finns någonting i detta som är fint… Beslutet ligger i våra egna händer.

Stanley Greenstein, Juridicum, Stockholms universitet.

FAKTA – juris dr. Stanley Greenstein

Född år 1970 i Sydafrika

Kom till Sverige år 2001 – ”kärleken tog mig hit”…

Juristexamen samt examen i samhällsvetenskap, University of Cape Town, Sydafrika år 1992

Master i IT-rätt, Stockholms universitet år 2004

Juris dr. Stockholms universitet år 2017

Familj: Fru och tre barn

Bor: Nacka

Åttiotalsgurun och sångaren i Depeche Mode, Dave Gahan. Foto: Ola Torkelsson/TT

Senaste bok: ”The things they carried” av Tim O’Brian

Senaste film: ”Lassie kommer hem” tillsammans med familjen på höstlovet

Musik: 1980-talsmusik… Depeche Mode är favorit

FAKTA – EU-förordningen, AI act, om Artificiell intelligens

Den 21 april 2021 presenterade kommissionen sitt förslag till en förordning om harmoniserade regler för artificiell intelligens (AI) inom ramen för strategin för det digitala Europa. Kommissionen annonserade i Vitboken om artificiell intelligens, som presenterades den 19 februari 2020, ambitionen att föreslå ett rättsligt ramverk för AI med utgångspunkt i etiska riktlinjer för utveckling och användning av AI.

Syftet med förslaget till förordning är att:

– harmonisera regler för AI inom EU,

– stärka den inre marknadens konkurrenskraft och funktion samt att undvika fragmentering på den inre marknaden,

– skydda hälsa, säkerhet och grundläggande rättigheter,

– främja de positiva aspekterna av AI och säkerställa fri rörlighet av AI-system.

Förslaget använder ett riskbaserat angreppsätt i syfte att skapa en strukturerad uppdelning mellan olika typer av AI-system och dess användning där vissa är förbjudna, andra tillåtna men med restriktioner och krav i form av bl.a. tillsyn och registrering hos ansvarig myndighet. De AI-system som inte innebär någon eller liten risk får användas utan restriktioner.

Ett system för marknadsövervakning- och regelefterlevnad via offentliga organ föreslås införas på såväl nationell nivå som på EU-nivå.

För att få använda s.k. högrisksystem krävs en CE-märkning som kan fås efter en prövning av behörigt offentligt organ.

Användning av s.k. ”regulatoriska 1 sandlådor” föreslås i syfte att främja innovation och effektivisera regelefterlevnad för kommande AI-system.

Officiella beteckningar och länkar till dokument:

Sverige: Förordning om artificiell intelligens 2020/21:FPM109

EU: Proposal for a Regulation laying down harmonised rules on artificial intelligence (artificial intelligence act) and amending certain union legislative acts, COM(2021) 206


Dela sidan:
Skriv ut: