Dr Jędrzej Niklas, z Wydziału Nowych Mediów i Komunikacji, London School of Economics twierdzi, że profilowanie niekiedy łączy się z dyskryminacją i wykluczeniem, czyli marginalizacją społeczną.
Z profilowaniem wiąże się wiele problemów. Szczególne ryzyka powstają, gdy z analizy danych statystycznych wnioskuje się o występowaniu nieznanej dotąd cechy u konkretnej osoby. Metoda taka, bazująca na korelacjach, jest obarczona dużym prawdopodobieństwem występowania błędów.
Ryzyko to nasila się, gdy na podstawie profilowania podejmuje się automatycznie decyzje. Rola człowieka w tym procesie zaczyna być minimalizowana, a odpowiedzialność spoczywa na „mitycznym komputerze”.
Automatyzacja przyczyną błędów
Według dr Niklasa, krzywdzące stereotypy społeczne mogą przedrzeć się do systemu informatycznego z powodu automatyzacji przetwarzania danych. Automatyzacja usprawnia pewne procesy, jest bardziej obiektywna niż człowiek, gdy dobrze ją skonstruowano. Negatywnymi konsekwencjami automatyzacji może być np. źle dopasowana reklama, odrzucenie w rekrutacji do szkoły wyższej lub do pracy albo określenie wyższych składek.
– Dyskryminacja powstaje bez naszej wiedzy i kontroli, nikt nie chce świadomie jej wprowadzać – zapewnia dr Niklas.
Profilowanie bezrobotnych
Dr Niklas zbadał przypadki profilowania pomocy dla bezrobotnych, które kategoryzuje osoby. – Idąc do Urzędu Pracy jesteśmy przydzielani do jednej z trzech kategorii. Ta kategoria determinuje zakres usług z Urzędu. Nie tak łatwo odróżnić, co jest automatyczne. System informatyczny miał tylko doradzać, ale efekt jest taki, że urzędnicy mechanicznie przyjmowali to, co im system wyświetlał. Ponadto, automatyzację stosowano wobec części petentów, a wobec innych decyzje podejmowali ludzie.
A zatem ważne jest, jak wyszkolimy tych ludzi, aby podejmowali właściwe decyzje – uważa dr Niklas.
– Z naszych badań wynikało, że kobiety dostawały tak mało punktów, że miały większe szanse znalezienia się w gorszej kategorii, co blokowało im dostęp do niektórych instrumentów z Urzędu Pracy. Zwłaszcza dotyczyło to tych, które opiekowały się dziećmi lub starzejącymi się rodzicami – wyjaśnia dr Niklas. – Tu było złe wykonanie i dlatego zaszła dyskryminacja.
Profilowanie zazwyczaj jest metodą opartą na pewnych wzorach matematycznych, które nieuwzględniają wszystkich skomplikowanych sytuacji życiowych. Bardzo często algorytmy wykorzystywane w trakcie profilowania, jak w przypadku scoringu kredytowego, objęte są tajemnicą handlową. Obywatele i konsumenci nie mają więc pełnego wglądu do zakresu przetwarzanych w trakcie profilowania danych.
RODO o dyskryminacji
Dyskryminacja może być warunkowana przez błędne dane. Dane nie są zbierane po równo od wszystkich, mogą też być niekompletne, powtarzać uprzedzenia. Efekt końcowy przetwarzania, kategoryzowania bywa niekiedy błędny.
RODO jest pierwszym aktem prawnym o ochronie danych, który mówi bezpośrednio o dyskryminacji. Te fragmenty znajdują się w preambule do rozporządzenia. Motyw 71 omawia postępowanie dyskryminujące, które opiera się na gorszym traktowaniu. Wymienia katalog danych wrażliwych.
Inną kwestią jest wykorzystywanie danych wrażliwych – to nawiązanie do dyskryminacji.
Co w praktyce oznaczają gwarancje?
Gwarancje w RODO to zakwestionowanie i sprzeciw. Jeśli mamy wysokie ryzyko, bo przetwarzamy dane wrażliwe, to i ryzyko dyskryminacji jest większe. Obecny system prawny lepiej chroni indywidualną osobę, jeśli decyzja podejmowana jest nie przez komputer, ale przez człowieka.
Ocena ryzyka – to kolejny element zabezpieczenia przed dyskryminacją (Motyw 75). Dyskryminacja to jest ryzyko dla praw i wolności. Przetwarzanie danych takich jak: pochodzenie etniczne, wyznanie, orientacja seksualna powoduje większe ryzyko i dlatego trzeba przy kategoryzowaniu zachować większą ostrożność – dodaje dr Niklas.
Źródło: XII Dzień Ochrony Danych Osobowych, Konferencja " Zainwestuj w prywatność – przygotowujemy się do RODO", Warszawa, 29 stycznia 2018 r.
