tisdag, december 02, 2008

FRAs försvarsunderrättelse- och utvecklingsverksamhet

Jag har nu skrivit en utförligare juridisk analys om FRAs signalspaning i form av ett "Project Paper". Jag vore väldigt tacksam om ni läsare vill kommentera texten, det kan vara så att jag söker få den publicerad i något akademiskt sammanhang och då är det väldigt värdefullt med kommentarer.

Vad är nytt? Jag tar ett delvis nytt grepp då jag söker beslya skillnaderna mellan FRAs försvarsunderrättelse- och utvecklingsverksamhet. Jag har också börjat att fördjupa mig i prop. 2006/07:46 som rör FRAs PUL, lagstiftning som antogs under 2007.

Texten finns i denna fil samt nedan.

FRAs försvarsunderrättelse- och utvecklingsverksamhet – ett rättsligt perspektiv

1. Bakgrund om signalspaning och lagstiftningsarbetet
1.1 Försvarsunderrättelseverksamheten
1.2 Utvecklingsverksamheten


2. Kommunikationssignalspaningens olika faser
2.1 Överföring och överlämning
2.2 Inhämtning och lagring
2.2.1 Försvarsunderrättelseverksamheten
2.2.2 Utvecklingsverksamheten
2.3 Innehålls- och trafikbearbetning
2.3.1 Inhämtning genom sökbegrepp
2.3.2 Sambandet mellan sökbegrepp, trafik- och innehållsbearbetning
2.3.3 Begränsningar av sökbegrepp vid inhämtning av innehåll
2.3.4 Metoder för trafikbearbetning
2.4 Analys, rapportering och utbyte av information
2.4.1 Förvarsunderrättelseverksamheten
2.4.2 Utvecklingsverksamheten


3. Slutsatser

I samband med riksdagens behandling av FRAs tillgång till kabelbunden kommunikation har det under 2008 förts en intensiv debatt om signalspaning. Den principiella frågan gällde avvägningen mellan personlig integritet, post- och telehemligheten och statens intresse av att skaffa tillförlitliga underrättelser. Därtill kom en diskussion om lagstiftningens innebörd som framförallt handlade om hur mycket trafik som operatörerna skulle överföra till FRA, FRAs mandat och avgränsningen mellan FRAs och polisens verksamhet.

Vad angår lagstiftningens innebörd framgår det klart av lagtexten och förarbetena att de trådägande operatörerna till särskilda samverkanspunkter ska överföra all trafik som förs över Sveriges gräns. Vid samverkanspunkterna sker överlämning till FRA.[1] Den andra frågan om FRAs relation till de brottsbekämpande myndigheterna blev så infekterad att en särskild utredare utsetts för att 1) kartlägga Säkerhetspolisens och Rikskriminalpolisens behov av underrättelseinhämtning avseende utländska förhållanden genom signalspaning, 2) utreda hur detta behov ska kunna tillgodoses på ett rättssäkert och effektivt sätt, och 3) utarbeta författningsförslag.[2]

Två viktiga frågor förblev dock obesvarade i den allmänna debatten. För det första, hur kan FRA identifiera och urskilja relevant information utan att behöva söka igenom alla meddelanden, varav vissa är krypterade? För det andra, vad händer med den information som FRA samlar in? Förevarande studie avser att besvara dessa frågor genom analys av den antagna lagstiftningen och dess förarbeten. Inledningsvis bör läsaren uppmärksamma några dikotomier. Den rättsliga regleringen gör en uppdelning mellan FRAs försvarsunderrättelse- och utvecklingsverksamhet. Jag tar fasta på och betonar denna uppdelning. Vidare bör läsaren redan från början upplysas om att FRAs hantering av information skiljer mellan 1) meddelanden vars innehåll i form av text eller ljud kan granskas och 2) information om mellan vilka viss kommunikation äger rum (trafikdata). I förhållande till den totala mängden meddelanden som överförs från operatörerna har FRA endast en begränsad rätt att läsa och lyssna på meddelanden. Däremot har FRA en betydligt bredare befogenhet att hantera trafikdata. Det innebär att meddelanden vars innehåll är krypterat likväl kan utgöra värdefull information eftersom krypteringen inte döljer vem som kommunicerar med vem. Genom att analysera trafikmönstret av enskildas kommunikation kan slutsatser dras kring vilka grupper personer tillhör och i vilket syfte kommunikationen görs.[3]

Med anledning av en överenskommelse inom regeringen den 25 september 2008 kommer delar av lagstiftningen att förändras. Detta avser framförallt kontrollfunktionen, där ansvaret för tillståndsgivning förflyttas från en domstolsliknande enhet inom Förvarets Underrättelsenämnd till en separat domstol. Vidare sker en precisering i lag av de ändamål för vilka försvarsunderrättelseverksamhet ska bedrivas.[4] Därför kommer denna studie ej närmare behandla tillståndsgivningen eller i detalj diskutera försvarsunderrättelseverksamhetens mandat.

1. Bakgrund om signalspaning och lagstiftningsarbetet
Signalspaning kan delas upp i teknisk signalspaning (TES) mot t.ex. radarsignaler och kommunikationssignalspaning (KOS) mot kommunikation i eter och kabel.[5] Denna studie avser FRAs kommunikationssignalspaning.

Regeringen överlämnade den 8 mars 2007 proposition 2006/06:63 ”En anpassad underrättelseverksamhet” till riksdagen. Riksdagen antog den 18 juni 2008 regeringens förslag till ändringar i tre befintliga och antagandet av en ny lag. Propositionen rörde framförallt en expansion av Försvarets Radioanstalts (FRA) mandat för försvarsunderrättelseverksamhet där begränsningen till ”yttre militära hot” ersattes av ”yttre hot”. Vidare innehöll den antagna lagstiftningen en ny skyldighet för Internet- och telekomoperatörer att överföra all trafik i kablar som korsar Sveriges gränser till FRA. Tidigare har FRA endast kunna inhämta signaler i etern. Ett drygt år tidigare hade riksdagen antagit lagen (2007:259) om behandling av personuppgifter i Försvarets radioanstalts försvarsunderrättelse- och utvecklingsverksamhet (FRA PUL).[6] Nämnda lagar kompletteras av ett antal förordningar som tillsammans utgör det rättsliga regelverket för FRAs signalspaning.

Som redan påpekats finns uppdelning mellan FRAs försvarsunderrättelse- och utvecklingsverksamhet som ska behandlas var för sig och när nödvändigt ska sambandet mellan dessa uppmärksammas.[7]

1.1 Försvarsunderrättelseverksamheten

FRA bedriver signalspaning inom ramen för statens försvarsunderrättelseverksamhet, vilket inbegriper inhämtning, bearbetning, analys och rapportering. I förarbetena anges att ”[s]yftet med försvarsunderrättelseverksamheten är att ge stöd för bedömningar och beslut till stöd för svensk utrikes-, säkerhets- och försvarspolitik, att bidra till det svenska deltagandet i internationellt säkerhetssamarbete samt att medverka med underrättelser för att stärka samhället vid svåra påfrestningar i fred.”[8]

1.2 Utvecklingsverksamheten

Det angivna syftet med FRAs utvecklingsverksamhet är att ge tillräckliga förutsättningar för att FRA ska kunna bedriva en effektiv försvarsunderrättelseverksamhet. I förarbetena ges ett konkret exempel hur utvecklings- och försvarsunderrättelseverksamheten samverkar med varandra.[9]

Ett syfte med verksamheten är t.ex. att kartlägga vilka kommunikationsvägar som kan vara av intresse för att inhämta information av relevans för försvarsunderrättelseverksamheten och det kan därför aktualiseras att använda uppgifter från denna verksamhet även i försvarsunderrättelseverksamheten. Eftersom den beskrivna verksamheten syftar till att möjliggöra försvarsunderrättelseverksamheten kan det inte anses oförenligt med det ändamål för vilka uppgifterna samlas in att uppgifterna också i viss utsträckning behandlas i försvarsunderrättelseverksamheten.
Denna passage avser den del av utvecklingsverksamheten som syftar att följa förändringar i signalmiljön.[10] Därutöver rymmer utvecklingsverksamheten utveckling av teknik och metod,[11] samt biträde till andra myndigheter vid värdering, utveckling, anskaffning och drift av signalspaningssystem.[12]

2. Kommunikationssignalspaningens olika faser
För att förstå hur försvarsunderrättelse- och utvecklingsverksamhet skiljer sig åt behöver vi studera signalspaningens olika steg närmare: 1) överföring och överlämning, 2) inhämtning, 3) bearbetning (trafikbearbetning inklusive kryptoforcering och innehållsbearbetning), 4) analys, rapportering och utbyte av information.[13] Därtill kommer lagring av data som kan ske vid olika delar av nämnda faser.

2.1 Överföring och överlämning
I det första steget ska de trådägande operatörerna till särskilda samverkanspunkter överföra all trafik som förs över Sveriges gräns, vilket även kan omfatta kommunikation mellan avsändare och mottagare som befinner sig i Sverige.[14] Med hänsyn till hur modern telekommunikation fungerar kan inte svensk trafik sorteras bort i denna fas då valet av kommunikationsväg är automatiserat. Den som använder nätet kan inte bestämma vilken väg eller vilken kombination av medier som skall användas vid ett visst kommunikationstillfälle. Det är inte heller säkert att den geografiskt sett kortaste vägen för överföring används. Kommunikation som till synes sker inom Sverige kan därför ta omvägen via utlandet. Valet sker helt utifrån företagsekonomiska bedömningar med hänsyn till pris och kommunikationskapacitet. Med andra ord, all trafik i de berörda kablarna, oavsett om det rör svensk eller utländsk kommunikation ska överföras till särskilda samverkanspunkter som ytterst kontrolleras av staten. Samverkanspunkterna är alltså de platser där trafiken överlämnas från de trådägande operatörerna till FRA. I steget som rör överföring och överlämning är det för tidigt att göra en uppdelning mellan försvarsunderrättelse- och utvecklingsverksamhet.

Lagrådet har i detta sammanhang anmärkt att intrånget i friheten att kommunicera mellan människor som använder telekommunikationstjänster ”sker redan genom att staten bereder sig tillgång till teletrafiken och inte först när ett visst meddelande avskiljs för analys genom sökbegreppen.”[15]

2.2 Inhämtning och lagring
I det andra steget inhämtar FRA signaler från samverkanspunkterna. Lagtekniskt är detta reglerat i 1 § lagen (2008:717) om signalspaning i försvarsunderrättelseverksamhet (signalspaningslagen) som i sin tur är uppdelad i två stycken, som avser försvarsunderrättelseverksamhet respektive utvecklingsverksamhet.[16] Förståelsen av detta lagrum är central då den reglerar hur mycket information som FRA får inhämta.

2.2.1 Försvarsunderrättelseverksamheten
Den volymmässiga inhämtningen inom ramen för FRAs försvarsunderrättelseverksamhet är begränsad vilket framgår av 1 § första stycket signalspaningslagen. Den anger följande.

I försvarsunderrättelseverksamhet enligt lagen (2000:130) om försvarsunderrättelseverksamhet får den myndighet som regeringen bestämmer (signalspaningsmyndigheten) inhämta signaler i elektronisk form vid signalspaning. Signalspaning i försvarsunderrättelseverksamhet får endast ske i de fall regeringen eller, enligt regeringens bestämmande, en myndighet närmare bestämt inriktningen av signalspaningen.
Hänvisningen till lagen (2000:130) om försvarsunderrättelseverksamhet är viktig då denna anger försvarsunderrättelseverksamhetens mandat.[17]

Försvarsunderrättelseverksamhet skall bedrivas till stöd för svensk utrikes-, säkerhets- och försvarspolitik samt i övrigt för kartläggning av yttre hot mot landet. I verksamheten ingår att medverka i svenskt deltagande i internationellt säkerhetssamarbete. Försvarsunderrättelseverksamhet får endast avse utländska förhållanden.
Därmed begränsas inhämtningen av signaler enligt 1 § första stycket signalspaningslagen till utländska förhållanden och vissa angivna ändamål, bl.a. kartläggning av yttre hot och stöd för svensk utrikes-, säkerhets- och försvarspolitik.[18] Det finns ingen begränsning till vilken del av kommunikation som får inhämtas. Nämnda lagrum ger därför FRA rätt att inhämta och bearbeta innehållet vilket bl.a. omfattar avlyssning av ljud och granskning av text i meddelanden.

Därmed blir andra stycket i nämnda lagrum särskilt intressant då den anger att inhämtning av signaler även kan ske utan att det finns krav på någon koppling till ändamål som svensk utrikes-, säkerhets- och försvarspolitik eller kartläggning av yttre hot mot landet.

2.2.2 Utvecklingsverksamheten
Inhämtning kan även ske inom ramen för FRAs utvecklingsverksamhet. 1 § andra stycket lagen (2008:717) om signalspaning i försvarsunderrättelseverksamhet anger följande.

Om det är nödvändigt för försvarsunderrättelseverksamheten får signaler i elektronisk form inhämtas vid signalspaning även för att

1. följa förändringar i signalmiljön i omvärlden, den tekniska utvecklingen och signalskyddet, samt
2. fortlöpande utveckla den teknik och metodik som behövs för att bedriva verksamhet enligt denna lag.
Inhämtning inom ramen för FRAs utvecklingsverksamhet är begränsad till metadata, vilket ”kan komma att innefatta inhämtning av information, t.ex. om mellan vilka viss kommunikation äger rum, som är känslig ur integritetssynpunkt.”[19] Den tekniska termen för information om mellan vilka viss kommunikation äger rum är trafikdata. Enligt förarbetena ska utvecklingsverksamheten normalt inte avse innehållet i meddelanden.[20]

För att klargöra terminologin kan signalspaningslagen jämföras med direktivet (2006/24/EG) om lagring av trafikuppgifter. Direktivet är ännu ej genomfört i svensk lag. Direktivet använder termen trafikuppgift vilket motsvarar den tekniska termen trafikdata. Av trafikuppgiftsutredningens förslag till förordning om lagring av trafikuppgifter m.m. för brottsbekämpande syften framgår att trafikuppgifter bl.a. ska innehålla uppgifter om IP-adress eller telefonnummer för både uppringande part och uppringd part, inklusive uppgift om abonnent och registrerad användare.[21] Jämförelsevis kan konstateras att det finns ingen förpliktelse enligt signalspaningslagen för operatörerna att röja sina abonnenters identitet. Därmed drar jag slutsatsen att FRA hanterar trafikuppgifter (trafikdata) som anger IP-adress eller telefonnummer, men inte nödvändigtvis abonnentens eller användarens identitet. Med identitet menar jag namn, fysisk adress och/eller personnummer. Därför har trafikdata en kvalificerad betydelse när vi granskar FRAs signalspaning.

Som tidigare nämnts operatörerna överför all trafik i de berörda kablarna, inklusive kommunikation mellan avsändare och mottagare som befinner sig i Sverige. Till detta kommer att inhämtning enligt 1 § andra stycket signalspaningslagen ej är begränsat till utländska förhållanden. Det innebär att FRA har rätt att inhämta trafikdata även avseende renodlad svensk kommunikation utan koppling till något hot mot Sverige. Detta kan därefter bearbetas och lagras.[22] FRA har alltså rätt att inhämta, bearbeta och lagra trafikdata i sina egna databaser vilket ska jämföras med det ännu ej genomförda direktivet (2006/24/EG) där de privata operatörerna lagrar uppgifter av samma slag i sina databaser.

Frågan är i vilken omfattning insamling av trafikdata har skett inom ramen för eterspaningen och i vilken omfattning det kommer att utökas genom kabelspaningen? Detta anges inte i lagstiftningen eller förarbetena, men i ett av FRAs egna interna dokument från en frågestund med myndighetens medarbetare ges vägledning. I dokumentet talas det om grundforskning istället för utvecklingsverksamhet, vilka förefaller avse samma sak. I dokumentet diskuteras följande påstående.[23]

FRA arbetar på så sätt att all tillgänglig kommunikation lagras. I efterhand görs sökningar i den trafiken.
Under frågestunden uppkom frågan.

Förfarandet inom grundforskningen att lagra stora mängder information, som sedan söks igenom, liknar väl själva påståendet?
Av nedanstående svar framgår att det är praktiskt enklare att lagra stora mängder trafikdata än innehåll samt att trafikdata används för trafikbearbetning.

Det är helt riktigt att hanteringen av trafikdata skiljer sig från hanteringen av inhämtat innehåll. [Det] finns goda praktiska skäl till detta, eftersom trafikdata volymmässigt lämpar sig bättre för lagring än innehåll … Vi är mycket angelägna om att använda trafikdata även i framtiden. Med ökad framtida användning av kryptering och med ständigt ökande trafikvolymer ökar också trafikbearbetningens styrkor i förhållande till den klassiska icke-militära innehållsbearbetningen.
Vidare framgår av fråga 24 i nämnda dokument att FRA använder svenska parametrar vilket stämmer väl med den tolkning jag gör av lagen och dess förarbeten. Trafikdata används alltså vid trafikbearbetning. Den senare termen nämns explicit i förarbetena,[24] till vilket denna studie ska återkomma.

Lagring av data som rör personuppgifter regleras i lagen (2007:259) om behandling av personuppgifter i Försvarets radioanstalts försvarsunderrättelse- och utvecklingsverksamhet och tillhörande förordning. I nämnda författningar har regeringen reglerat hanteringen av råmaterial, analysresultat och information om signalmiljön vilket kan beröra såväl lagring av innehåll som metadata och trafikdata.[25] Som huvudregel ska personuppgifter som behandlas automatiserat gallras, om inte regeringen eller den myndighet som regeringen bestämmer har meddelat föreskrifter att uppgifter får bevaras för historiska, statistiska eller vetenskapliga ändamål.[26] I följande avsnitt behandlas sambandet mellan innehållsbearbetning och trafikbearbetning.

2.3 Innehålls- och trafikbearbetning
FRAs fördjupade bearbetning och analys av innehåll sker inom ramen för försvarsunderrättelseverksamheten.[27] Denna verksamhet är begränsad till vissa angivna ändamål och liten i förhållande till den totala mängd kommunikation som överförs de särskilda samverkanspunkterna. Därför måste FRA ha verktyg för att kunna identifiera den kommunikation som är relevant för innehållsbearbetning.

Ett centralt verktyg för att kunna identifiera vilken kommunikation som är relevant för innehållsbearbetning är trafikbearbetning. Med det senare kan FRA identifiera vem som kommunicerar med vem och varför.[28] Termerna trafikdata används i FRAs egna dokument och i förarbetena förklarar lagstiftaren att insamlad metadata kan röra information om ”mellan vilka viss kommunikation äger rum” [29]. Vad gör FRA med dessa data? Förarbetena nämner fastställande av ”trafikmönster” tillsammans med begreppet ”trafikbearbetning”.[30]

Trafikbearbetningen syftar till att bringa ordning i det skenbara kaos som det inhämtade materialet erbjuder. Härigenom kan man konstatera vem som
kommunicerar med vem och varför. De uppfångade radiosignalerna identifieras och trafikmönster fastställs.
Med andra ord, FRA bearbetar trafiken och fastställer vilka trafikmönster som är intressanta. Detta ger myndigheten förmågan att avgöra till eller från vilka telefonadresser och IP-adresser som kommunikationen behöver granskas närmare. Det framstår som klart att eventuellt behov av fördjupade granskningen genom inhämtning och bearbetning av innehåll sker inom ramen för försvarsunderrättelseverksamheten. Lagen och förarbetena ger dock väldigt begränsad information om trafikbearbetningen sker i försvarsunderrättelse- eller i utvecklingsverksamheten. Förmodligen sker det i bägge eftersom trafikbearbetning redan ensamt kan ge underlag för underrättelser. Exempelvis skulle en massiv ökning av kommunikation mellan basen för den ryska ishavsflottan i Murmansk och Kreml vara intressant att rapportera inom ramen för försvarsunderrättelseverksamheten.

Viss ledning för sambandet mellan trafikbearbetning och utvecklingsverksamheten får man av följande formulering i förarbetena.[31]

Ett syfte med [utvecklings]verksamheten är t.ex. att kartlägga vilka kommunikationsvägar som kan vara av intresse för att inhämta information av relevans för försvarsunderrättelseverksamheten
Nedanstående passage i FRAs egna dokument om grundforskning förtydligar saken ytterligare.[32]

Inom ramen för grundforskningsverksamheten får vi rätt att lagra trafikdata, som bland annat innehåller uppgifter om abonnentnummer eller e-postadress som varit i kontakt med varandra. Påstående: FRA arbetar på så sätt att all tillgänglig kommunikation lagras. I efterhand görs sökningar i den trafiken ... Det är helt riktigt att hanteringen av trafikdata skiljer sig från hanteringen av inhämtat innehåll. ... [T]illgången till trafikdata är ett oumbärligt verktyg för såväl inriktningsbeslut som möjligheten att finna nya urvalsparametrar (till exempel om målobjektet bytt till ett annat kontaktkort. … Vi är mycket angelägna om att använda trafikdata även i framtiden. Med ökad framtida användning av kryptering och med ständigt ökande trafikvolymer ökar också trafikbearbetningens styrkor i förhållande till den klassiska icke-militära innehållsbearbetningen.
I den citerade passagen används termen urvalsparameter vilket ska jämföras med termen sökbegrepp som används i gällande författningstext.[33] Det framgår av förarbetena att urvalsparametrar och sökbegrepp avser samma sak.[34] Min slutsats blir därför att trafikbearbetningen är ett verktyg för att fastställa inriktning och sökbegrepp.

2.3.1 Inhämtning genom sökbegrepp
Av lagen och förarbetena framgår att inhämtningen är automatiserad och signaler identifieras med sökbegrepp vilket möjliggör utsållning av relevant information.[35] Lagrådet är mer utförliga när de beskriver processen som att ”meddelande avskiljs för analys genom sökbegreppen” och att fastställandet av sökbegrepp är av ”synnerlig betydelse för omfattningen av avlyssningen”.[36]

Sökbegrepp ska inte förväxlas med det mer snäva termen ”nyckelord”. I förarbetena förklaras följande.[37]

För att undvika att irrelevant information inhämtas måste sökbegrepp med hög precision användas. … Utformningen av sökbegrepp för automatiserad inhämtning styrs av ändamålen för verksamheten såsom de angivits i lagen och inriktningen av verksamheten. Den närmare utformningen av sökbegrepp sker bl.a. genom väl avvägda kombinationer av teknisk data (såsom varifrån i världen signalerna inhämtas och med vilka transmissionsmedel de förmedlas) samt andra parametrar som nyckelord (t.ex. det särskilda namnet på ett vapensystem eller annan teknisk terminologi) och unika namn och språk.
Med andra ord, FRA använder sökbegrepp som omfattar allt från personuppgifter som namn, språk och tekniska parametrar. Det senare kan vara frekvenser, e-postadresser och telefonnummer. Olika sökbegrepp används tillsammans i olika kombinationer och konstellationer.[38] Till sin hjälp har FRA en Urvalsdatabas, som innehåller ”information om företeelser mot vilka signalspaningen inriktas”.[39] Närmare rutiner för fastställande och hantering av sökbegreppen ska regleras i FRAs arbetsordning.[40]

2.3.2 Sambandet mellan sökbegrepp, trafik- och innehållsbearbetning
Vad är sambandet mellan sökbegreppen, trafik- och innehållsbearbetning? Det har tidigare i denna studie konstaterats att trafikbearbetningen är ett verktyg för att fastställa inriktning och sökbegrepp. Med andra ord, sökbegreppen 1) uppdateras kontinuerligt med stöd av trafikbearbetning, och 2) används för att med hög precision inhämta de meddelanden som ryms inom försvarsunderrättelsens ändamål och inriktning. FRA kan därefter bearbeta och analysera ett meddelandes innehåll, t.ex. i form av text eller ljud. Detta gör att försvarsunderrättelseverksamheten och innehållsbearbetningen endast omfattar en begränsad andel av den samlade trafiken som korsar Sveriges gränser.

2.3.3 Begränsningar av sökbegrepp vid inhämtning av innehåll
I förarbetarna påpekas det att automatiserad behandling av personuppgifter, i synnerhet i samlingar av uppgifter, ger stora möjligheter att söka och sammanställa information. Dessa möjligheter medför särskilt stora risker för intrång i den personliga integriteten. I syfte att begränsa denna risk har det införts vissa begränsningar av sökmöjligheterna, exempelvis genom ett förbud mot att behandla ”enbart på grund av vad som är känt om personens ras eller etniska ursprung, politiska åsikter, religiösa eller filosofiska övertygelse, medlemskap i fackförening, hälsa eller sexualliv.” Det finns dock undantag från denna regel. Vid sökning får personuppgifter som avslöjar ras eller etniskt ursprung, politiska åsikter, religiös eller filosofisk övertygelse, medlemskap i fackförening eller som rör hälsa eller sexualliv användas som sökbegrepp om vissa villkor är uppfyllda. Bestämmelserna utesluter inte att sådana känsliga personuppgifter kan användas ensamma vid sökning. Det är således inte nödvändigt att vid användning av en känslig personuppgift som sökbegrepp alltid använda ett kompletterande sökord som inte utgör en känslig personuppgift. Dock ska användningen av känsliga uppgifter skall vara absolut nödvändig för syftet med behandlingen.[41] Säkerhetspolisen har i sitt remissvar ifrågasatt varför det skall ställas strängare krav i polisens verksamhet än i försvarsunderrättelseverksamheten.[42]

2.3.4 Metoder för trafikbearbetning
Av redogörelsen om sökbegrepp framgår att FRA i sin urvalsprocess både kan använda 1) personuppgifter om en given fysisk persons namn, telefonnummer, IP-adress och 2) i avsaknad av en given person, fastställande av trafikmönster. Jag drar därmed slutsatsen att FRA kan bearbeta trafik genom åtminstone två metoder.

Den första metoden bygger på att FRA har ett startsubjekt, t.ex. en misstänkt terrorist. FRA följer upp denna persons telefon- och datakontaktar, identifierar och analyserar personens nätverk och får därmed ett underlag för att bestämma vilka kommunikation som närmare ska granskas. Denna metod benämner jag som subjektbaserad informationsutvinning. När information saknas om ett lämpligt startsubjekt men FRA har en uppfattning om misstänkta kommunikationsmönster (ovan nämnt som trafikmönster) så kan FRA identifiera nätverk och grupper där sådant mönster förekommer. Denna metod benämner jag som mönsterbaserad informationsutvinning.[43]

Nämnda metoder har studerats närmare i en amerikansk studie beträffande informationsutvinning (data mining) och terrorismbekämpning. Studien är utförd av National Research Council, motsvarigheten till Kungliga Vetenskapsakademin i Sverige. Studien tar bland annat upp den lagstiftning som omfattar National Security Agency (NSA) och nämnda myndighets arbetsmetoder. I studien uppmärksammas exempelvis att NSA samlar in uppgifter om miljontals amerikanska medborgares telefonsamtal,[44] vilket förefaller identiskt med vad FRA har gör beträffande svenska medborgares tele- och datakontakter.[45] Den amerikanska studien diskuterar förekomsten av falska träffar, ifrågasätter effektiviteten med informationsutvinning och uppmärksamheter potentiella problem avseende rättssäkerhet om metoderna används alltför automatiserat.[46] NSA är den amerikanska motsvarigheten till FRA. Det förefaller som FRA och NSA har likartade verktyg och arbetsmetoder.

2.4 Analys, rapportering och utbyte av information
2.4.1 Förvarsunderrättelseverksamheten

Utöver inhämtning och bearbetning fullgörs FRAs verksamhet genom analys av information och rapportering av underrättelser till berörda myndigheter. Underrättelserna lagras i en särskild uppgiftssamling.[47] Skyldigheten att rapportera av underrättelser gäller endast signalspaning som skett inom försvarsunderrättelseverksamheten.[48]
Behandlande personuppgifter får föras över till andra länder eller mellanfolkliga organisationer om det är nödvändigt för att Försvarets radioanstalt skall kunna fullgöra sina uppgifter inom ramen för det internationella försvarsunderrättelse- och säkerhetssamarbetet.[49] Närmare information om FRAs utbyte av information med andra länder är svår att finna då den är belagd med sekretess.[50] Viss ledning kan sökas i offentlig information, bl.a. att Sverige och USA undertecknat ett säkerhetsforskningsavtal som möjliggör ett gemensamt forsknings- och informationsutbyte inom det civila säkerhetsområdet, vilket bl.a. omfattar terrorismbekämpning.[51]

2.4.2 Utvecklingsverksamheten
FRAs utvecklingsverksamhet genererar inte någon underrättelserapportering, men den kompetens som byggs upp hos myndigheten på detta område kommer även andra myndigheter till del genom bistånd i tekniskt avseende.[52] Vad är bistånd i teknisk avseende till andra myndigheter, kan det omfatta behandling av trafikdata som härrör från enskildas kommunikation?

Det finns inget allmängiltigt svar för utvecklingsverksamheten, utan den måste studeras i tre olika delar av nämnda verksamhet: 1) utvecklingsverksamhet som syftar att följa förändringar i signalmiljön, 2) utveckling av teknik och metod, och 3) biträde till andra myndigheter vid värdering, utveckling, anskaffning och drift av signalspaningssystem.[53]

I den del av utvecklingsverksamheten som avser biträde till andra myndigheter får personuppgifter som behandlats inom denna del av utvecklingsverksamheten ej användas för andra ändamål eller lämnas ut i annat fall än då det följer av offentlighetsprincipen.[54] Vad avser övriga delar av utvecklingsverksamheten finns ingen motsvarande bestämmelse. Detta kan ha konsekvenser för FRAs samarbete med andra länder och internationella organisationer.

Bestämmelsen i 1 kap. 17 § FRA PUL om överföring av personuppgifter till andra länder är inte begränsad till signaler inhämtade i försvarsunderrättelseverksamheten. Tvärtom anger 9 § signalspaningslagen att FRA inom ramen för utvecklingsverksamheten får ”enligt regeringens närmare bestämmande, etablera och upprätthålla samarbete i signalspaningsfrågor med andra länder och internationella organisationer.” Detta är anmärkningsvärt med tanke på att inhämtningen av trafikdata i utvecklingsverksamheten är obegränsad.

3. Slutsatser
Debatten om FRAs signalspaning har framförallt rört inhämtning inom ramen för myndighetens försvarsunderrättelseverksamhet medan frågor kring FRAs inhämtning av trafikdata som en del av utvecklingsverksamheten ej uppmärksammats i samma utsträckning. Det är min uppfattning att det skulle vara värdefullt både för debatten och vid eventuell granskning av FRAs verksamhet att även utvecklingsverksamheten uppmärksammas då den innebär omfattande inhämtning, bearbetning och lagring av information.

[1] 6 kap. 19 a § Lag (2003:389) om elektronisk kommunikation; Proposition 2006/07:63 ”En anpassad underrättelseverksamhet”, sid. 83 och 85
[2] Kommittédirektiv. Underrättelseinhämtning för vissa polisiära behov. Dir. 2008:120
[3] Klamberg, Mark, Nilsson, Mikael, Petersson, Anna, Seipel, Peter, Flyghed, Janne, Magnusson Sjöberg, Cecilia, Karlgren, Jussi, Bylund, Markus, Palmås, Karl, Ström, Pär, Thorburn, Daniel & Westerholm, Johan, FRA-lagen medför massiv kartläggning av oskyldiga Dagens Nyheter, 3 September 2008
[4] Statsrådsberedningen, Pressmeddelande: Alliansen enig om stärkt integritet, tydligare reglering och förbättrad kontroll i kompletteringar till signalspaningslagen, 25 september 2008
[5] Prop. 2006/07:63, sid. 22
[6] Proposition 2006/07:46 "Personuppgiftsbehandling hos Försvarsmakten och Försvarets radioanstalt"
[7] ibid, sid. 67-69
[8] Prop. 2006/07:63, sid. 16
[9] Prop. 2006/07:46, sid. 68; Prop. 2006/07:63, sid. 72
[10] 1 kap. 9 § punkten 1, Lag (2007:259) om behandling av personuppgifter i Försvarets radioanstalts försvarsunderrättelse- och utvecklingsverksamhet; 1 §, andra stycket, punkten 1, Lag (2008:717) om signalspaning i försvarsunderrättelseverksamhet
[11] 1 kap. 9 § punkten 2, FRA PUL; 1 §, andra stycket, punkten 2, Lag (2008:717) om signalspaning i försvarsunderrättelseverksamhet
[12] 1 kap. 10 §, FRA PUL;
[13] Prop. 2006/07:46, sid. 29
[14] 6 kap. 19 a § Lag (2003:389) om elektronisk kommunikation; Prop. 2006/07:63, sid. 83; Post- och telestyrelsen, Yttrande den 27 oktober 2005 Departementsskrivelsen om en anpassad försvarsunderrättelseverksamhet (Ds 2005:30), sid. 3-4
[15] Prop. 2006/07:63, sid. 58, 85 och 172
[16] Jämför 7 § första stycket FRA PUL
[17] 1 § första stycket, Lag (2000:130) om försvarsunderrättelseverksamhet
[18] Prop. 2006/07:63, sid. 137
[19] ibid, sid. 72
[20] ibid, sid. 72
[21] SOU 2007:76 Lagring av trafikuppgifter för brottsbekämpning, Betänkande av Trafikuppgiftsutredningen, Stockholm 2007, sid. 40
[22] 9 § FRA PUL
[23] FRA, 14 March 2007, Sveriges Television (Publ.), Frågor & svar, (16 November 2008). Dokumentet publicerades av Sveriges Television den 16 juni 2008 och dess autenticitet har bekräftats vid senare tillfällen, se Dagens Nyheter, 30 juni 2008, FRA-läcka utreds av polis; Expressen, 30 juni 2008, JK vill jaga FRA-läcka; Svenska Dagbladet, 30 juni 2008, Misstänkt FRA-läcka polisanmäld; Dagens Nyheter, 1 juli 2008, Säpo ska utreda FRA-läckan. FRA har själv lämnat ut dokumentet där vissa uppgifter belagts med sekretess, se Aftonbladet, 18 October 2008 FRA fick inte hindra mord – Tidigare hemligstämplade dokument visar hur myndigheten har kunnat tänja på lagen
[24] Prop. 2006/07:46, sid. 29; Prop. 2006/07:63, sid. 22
[25] 1 kap. 4 och 7 §§ FRA PUL; 2, 3 och 5 §§ Förordning (2007:261) om behandling av personuppgifter i Försvarets radioanstalts försvarsunderrättelse- och utvecklingsverksamhet. FRAs databaser omnämns utförligt i SOU 2003:34. Försvarets underrättelseverksamhet och säkerhetstjänst. Integritet – Effektivitet, Betänkande av Underrättelsedatautredningen, Stockholm 2003
[26] 6 kap. 1 § FRA PUL
[27] Prop. 2006/07:46, sid. 67
[28] ibid, p. 29
[29] Prop. 2006/07:63, sid. 72
[30] Prop. 2006/07:46, sid. 29; Prop. 2006/07:63, sid. 22
[31] Prop. 2006/07:46, sid. 68
[32] FRA "Frågor & svar"
[33] SOU 2003:34, sid. 131; 3 §, Lag (2008:717) om signalspaning i försvarsunderrättelseverksamhet
[34] Prop. 2006/07:63, sid. 90
[35] 3 § Lag (2008:717) om signalspaning i försvarsunderrättelseverksamhet; Prop. 2006/07:63, p. 92
[36] Prop. 2006/07:63, p. 172
[37] ibid, p. 77
[38] SOU 2003:34 Försvarets underrättelseverksamhet och säkerhetstjänst. Integritet – Effektivitet, p. 129; Prop. 2006/07:63, pp. 76-77, 90
[39] SOU 2003:34, sid. 17, 129. I författningstexten är Urvalsdatabasen benämnd som ”uppgiftssamlingar för information om företeelser mot vilka signalspaningen inriktas”, 6 § Förordning (2007:261)
[40] Prop. 2006/07:63, sid. 78
[41] 11 § FRA PUL; Prop. 2006/07:46, sid. 73-75, 124, 132
[42] Prop. 2006/07:46, sid. 73
[43] Protecting Individual Privacy in the Struggle Against Terrorists: A Framework for Program Assessment, National Academies Press, Washington, DC, 2008, sid. 17
[44] ibid, sid. 162, 204-25, 218, 229-230, 297-298, 300, 314
[45] Struwe, Filip, Sveriges Television (Publ.), FRA lagrar svenska telesamtal och mejl, (16 November 2008)
[46] National Research Council, 2008, sid. 78
[47] 2 §, Lag (2000:130) om försvarsunderrättelseverksamhet; 4 § Förordning (2007:261)
[48] Prop. 2006/07:63, sid. 80
[49] 1 kap. 17 § FRA PUL
[50] 2 kap. 1-2 §§ sekretesslagen (1980:100)
[51] Agreement between the Government of the United States of America and the Government of the Kingdom of Sweden on Cooperation in Science and Technology for Homeland Security Matters, 13 april 2007
[52] Prop. 2006/07:63, sid. 72
[53] 1 kap. 9-10 §, FRA PUL
[54] 1 kap. 10 § ibid; Prop. 2006/07:46, sid. 68. Min tolkning är att ”biträde till andra myndigheter vid värdering, utveckling, anskaffning och drift av signalspaningssystem” avser samma sak som ”bistånd i tekniskt hänseende” till andra myndigheter (Prop. 2006/07:63 sid. 72). Berörda lagrum och förarbeten lades fram vid olika tillfällen vilket kan förklara skillnaden i terminologi.




15 kommentarer:

  1. Anonym7:07 em

    Det ser mycket utförligt och väldisponerat ut Mark.

    Helt rätt till att rikta fokus, mer på själva utvecklingsarbetet inom FRA, när det sannolikt är där, vilket det "riktiga jobbet" sker.

    SvaraRadera
  2. Anonym12:07 fm

    Håller med JensO!

    Några synpunkter.

    rad
    70
    Tidigare har FRA endast kunna inhämta signaler i etern.
    Förslag:
    Tidigare har FRA endast haft tillstånd att inhämta signaler i etern.

    294
    kontaktkort
    kontantkort

    387
    Behandlande personuppgifter
    Behandlade personuppgifter

    OffTopic funderingar&frågor.
    127
    Samverkanspunkterna är alltså de platser där trafiken överlämnas från de trådägande operatörerna till FRA.
    (-Vem har Administratörsrättigheter på dessa samverkanspunkter? Vid presentationer har det visats en overhead som anger att gallringen skulle ske i samverkanspunkterna, vem har i detta fall kontrollen över vilken information som samlas in?)

    FRA kommer att få tillgång till en rådatabas utan några som helst begränsningar varken vad beträffande innehåll eller lagringstid, med indata från såväl etern som t.ex mobilnätens trafikdata.
    En ganska otrevlig möjlighet som detta ger, är att man kan skapa sociogram över vilka som deltar i t.ex. "regeringsfientliga" demonstrationer och även se historiskt vilka demonstrationer e.dyl som ett objekt har deltagit i, mao. en statstyrd åsiktsregistrering.

    En annan fråga är: Finns det något i lagarna som hindrar FRA att ge ett användarkonto direkt till rådatabasen åt t.ex. NSA inom projektsammarbetet enl. "Odenbergs avtal"?

    Slutligen, du skriver:"Det förefaller som FRA och NSA har likartade verktyg och arbetsmetoder."

    Enligt Ny Teknik[1] skall "Uppgiften att svara för "tekniskt signalskydd" går över från Krisberedskapsmyndigheten till FRA (3,7 miljarder per år)."
    Är det lämpligt att låta FRA få ansvaret för en betydande del av sveriges informationssäkerhet när det finns tydliga indikationer[2] på att FRA kan ha dubbla lojaliteter med NSA?


    [1] http://www.nyteknik.se/nyheter/it_telekom/allmant/article416051.ece
    [2] http://periodista.se/FRA03_04.pdf

    SvaraRadera
  3. Sjöholm,
    Tack för kommentarerna. Ska undera över dessa innan jag skickar in texten.

    SvaraRadera
  4. Anonym12:38 em

    Det hela ser mycket gediget ut.

    En liten synpunkt och undran:

    Det är säkert en riktig slutsats att utvecklingsverksamheten kretsar mycket kring trafikdata. Men formuleringen att denna verksamhet "normalt inte avser innehållet i meddelanden" utesluter ju faktiskt inte inhämtning även av innehåll. Det finns väl inte heller något sådant uttryckligt förbud?

    Man kan tänka sig fall där FRA skulle behöva ta del av meddelandeinnehåll i utvecklingssyfte. Signalspaning verkar ju handla om att hitta intressanta "trafikstråk". Om FRA vill försäkra sig om att ett visst stråk (t.ex. e-post i kanal X mellan Sverige och Ryssland) är intressant att inhämta, kanske det inte räcker med bearbetning av trafikdata. Man vill nog helst komplettera bilden och "tjuvkika" lite på innehållet också: Finns det några potentiellt intressanta spaningsobjekt som kommunicerar över länkarna? Vilka språk förekommer? Finns det några intressanta företag, nätverk eller organisationer som ofta dyker upp? etc.

    Om man använder automatisk avläsning av innehåll krävs inte heller så stora personella resurser. Ett och annat stickprov fixar man säkert också på manuell väg.

    Jag föreställer mig att FRA skulle kunna förklara detta behov för kontrollorganet på ett övertygande sätt. Eller finns det något i lagpaktetet som direkt förhindrar detta?

    Slutligen: När det gäller trafikdata kan du ju även referera direkt till Ingvar Åkesson och den där ekointervjun från 2007.


    /JJ

    SvaraRadera
  5. JJ,
    Intervjun med Åksesson från 2007 har jag noterat, men inte tagit med eftersom jag tycker han svävar lite på målet i några avgörande frågor.

    När det gäller inhämtning av innehåll i utvecklingsverksamheten så finns det vissa tecken på att det sker, men jag är inte säker.

    Läs sidan 68 i prop. 2006/07:46 där det verkar som inhämtning av innehåll kan ske inom ramen för utvecklingsverksamheten vid test av signalspaningssystem. Jag vågar dock inte dra några slutsatser av detta avsnitt.

    "Försvarets radioanstalt bedriver också viss annan utvecklingsverksamhet som närmare anges i 2 § sista strecksatsen och 3 § förordningen (1994:714) med instruktion för Försvarets radioanstalt. Myndigheten utför matematiska bedömningar av kryptosystem för totalförsvaret och biträder andra myndigheter vid värdering, utveckling, anskaffning och drift av signalspaningssystem. Vid utveckling av teknik och nya metoder för signalspaning är det ofta nödvändigt att testa systemen i den miljö där de skall vara verksamma för att säkerställa att de fungerar, d.v.s. kan inhämta signaler. Innehållet i signalerna är därvid inte av något intresse. Vid test av signalspaningssystem finns ingen teknisk möjlighet att på förhand sortera ut viss information som undantas från behandlingen."

    SvaraRadera
  6. JJ,
    En sak till. Försvarsunderrättelseverksamheten är tillståndspliktig. Inget tillstånd behövs i utvecklingsverksamheten. Det framgår av 5-6 § signalspaningslagen.

    Tillståndsorgan är för närvarande en enhet inom FUN, "signalspaningsnämnden". Den ska som bekant ersättas av en underrättelsedomstol, men den lär inte bli inblandad i utvecklingsverksamheten.

    SvaraRadera
  7. Anonym10:19 em

    Sjöholm sade:
    "Vem har Administratörsrättigheter på dessa samverkanspunkter? Vid presentationer har det visats en overhead
    som anger att gallringen skulle ske i samverkanspunkterna, vem har i detta fall kontrollen över vilken information
    som samlas in?"


    Det är en viktig frågeställning. Vem- vilka hanterar konfigurationen, övervakar och skriver dessa, när det knappast kan köpas över disk.
    Det är ju inte direkt "Net Nanny", vilket det är frågan om.
    När det är de vilka har rootbehörighet, även förmodligen hanterar den direkta avlyssningen- och gallringen.
    Det bör vara rellativt få personer, men de har en direkt insyn och kontroll över samverkanspunkten.

    SvaraRadera
  8. Det är uppenbart att det är FRA som har administratörsrättigheterna och att operatörerna endast ska leverara signaler.

    På sid. 85 i prop 2006/07:63 kan vi läsa följande.

    "En samverkanspunkt är den plats där trafiken överlämnas från den tråd-ägande operatören till myndigheten....Operatören har dock inget ansvar för att samver-kanspunkten uppförs och svarar inte heller för några kostnader för denna. Från samverkanspunkterna har myndigheten ansvar för att överföra sig-nalerna till sina system. Detta innebär att myndigheten inte kan hållas ansvarig för eventuella störningar i trådägande operatörers system och att operatörerna inte får kännedom om vilka signaler som myndigheten är intresserad av....Signalspaningsmyndigheten skall således, utöver att bygga upp samverkanspunkter, svara för kostnaderna för uppsättande och drift av nödvändig utrustning vid samverkanspunkterna."

    SvaraRadera
  9. Anonym12:01 em

    Mark, Där föll alla argument om kontrollstationer, domstolar etc.

    Om FRA har administratörsrättigheter för samverkanspunkterna så kan dom göra vad dom vill.
    Detta inkluderar både vilken information som samlas in samt var den skickas.

    Den lite skrämmande slutsatsen blir att riksdagen har röstat igenom en lag som ger en paramilitär organisation med oklara relationer med "främmande makt" full tillgång till all komunikation i landet.

    När nämda organisation samtidigt skall ansvara för sveriges tekniska signalskydd (informationssäkerhet) och därmed antagligen också hanteringen av statens kryptonycklar, uppstår en intressant fråga.

    Varför vill en mindre grupp i regeringen gå runt alla demokratiska påfund som t.ex transparant myndighetsutövning, och ge fria händer till en myndighet vars GD inte riktigt verkar ha förståelse för den "oerhörda öppenhet"[1] som vi har i sverige, i en fråga som är fundamental för rättsäkerheten i landet?

    Vem styr, har vissa myndigheter fått mer makt än den folkvalda riksdagen?


    [1] http://di.se/Nyheter/?page=/Avdelningar/Artikel.aspx%3Fsectionid%3Ddinapengar%26articleid%3D2008%255C09%255C26%255C302975

    SvaraRadera
  10. Sjöholm,
    Det jag återger är den antagna lagstiftningen från den 18 juni. Det kan tänka sig att överenskommelsen den 25 september innebär att domstolen rent fysiskt ska administrera samverkanspunkten, men jag tror inte detta kommer hända. Jag tror att den kommer vara ett rent tillståndsorgan. Vi får se.

    SvaraRadera
  11. Anonym6:10 em

    Mark, håller med.
    Regeringen verkar inte speciellt benägen att låta några integritets aspekter hindra FRA's verksamhet.

    Målinriktningen är till synes "business as usual" så snart som dammet har lagt sig.

    Lycka till med publiceringen av ditt Project Paper!
    Jag tycker att du gör ett fantastiskt arbete, inte minst för demokratin.
    Det har nog aldrig tidigare funnits så många "debattglada lekmän" som faktiskt läser lagar/lagförslag och försöker att förstå innebörd och konsekvenser av dessa.

    En from önskan vore att våra riksdagsledamöter hoppade i kanoten igen, och började att göra detsamma.

    SvaraRadera
  12. Anonym9:32 em

    En slutsats jag tror det går att dra, förutom på utvecklingsarbetet, är att fokusera på själva samverkanspunkten.
    När det just nu, inte är något annat än en "svart låda". Det är trots allt, en av de viktigaste och kritiska länkarna i kedjan.

    Annars som Sjöholm; "Lycka till med artikeln Mark", det är viktigt med den typen av skrifter, i sådana här sammanhang.

    SvaraRadera
  13. Anonym8:28 fm

    Du skriver:
    "Den principiella frågan gällde avvägningen mellan personlig integritet, post- och telehemligheten och statens intresse av att skaffa tillförlitliga underrättelser."

    Ordet avvägning synes medföra att hela din uppsats kan förkastas. Läs vad en FRAkramare skriver:
    Problemet med Mark är han anser det vara en avvägning
    mellan personlig integritet och statens intressen.

    "Här skiljer vi oss radikalt åt: Jag godtar ju inte, och har inte
    någon gång gjort, godtagit avvägningsidén.

    I stället har vi nu en balanspunkt där den personliga integriteten
    är tryggad, ingen massavlyssning är tillåten, domstol skall
    godkänna både avlyssningsbegrepp och misstanke, operatörerna
    skall om de hittar båda kriterierna vid noderna leverera dessa
    till FRA.

    Här förekommer ingen avvägning. Balansen är tillgodosedd genom
    att ingen massavlyssning tillåts, inga data som inte godkänts undersöks
    av myndighet utan av operatörer (de kan ju göra det redan i dag).

    Jag inser att detta är svårt att ta till sig om man är inställd på att
    det skall vara en avvägning mellan två intressen.

    Genom folkpartiets agerande - inte andra partiers - har balanspunkten
    uppnåtts...."


    Svårt att ta till sig sa Bill, svårt sa Bull

    SvaraRadera
  14. Bo,
    Det du tar upp är intressant. Så fort man ger sig in på en avvägningsprocess mellan enskildas rättigheter och nationell säkerhet (t.ex. terrorismbekämpning) verkar det senare få överhanden.

    SvaraRadera
  15. Tack för superbra info jag har inte djuplodat artkeln ännu men tänker göra det med hjälp av mina goda vänner i mitten av December.

    Vill önska dig och de dina en fin helg oxå. samt tacka dig /er för ert engagemang det är så roligt att få läsa kommentarer och förkovra sig med vettiga resonemang.

    Hälsar
    Tindra-Annette

    SvaraRadera