stosowania techno-optymistycznego spojrzenia, ufając, że nowe technologie zawsze będą ulepszać społeczeństwo – ta tendencja sprawia, że wielu z nas decyduje się na pracę w technologii. Jednak ten punkt widzenia może sprawić, że będziemy zadowoleni z wpływu naszej pracy. Ryzykujemy odejściem od „przestrzeni powodów moralnych”, w której nieustannie i celowo zastanawiamy się nad naszą odpowiedzialnością moralną i wyborami15.
Jako konkretny, współczesny przykład błędnego techno-optymizmu
i bezkrytycznej abstrakcji danych
w systemie wspomagania decyzji opartym na sztucznej inteligencji, grupa Design & Technology badała narzędzie Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) do przewidywania recydywy16. Na podstawie danych demograficznych dotyczących osoby oskarżonej o popełnienie przestępstwa,
w tym jej „bieżących zarzutów, oczekujących zarzutów, historii wcześniejszych aresztowań, poprzednich niepowodzeń przedprocesowych, stabilności mieszkaniowej, statusu zatrudnienia, więzi społecznych
i nadużywania substancji”, narzędzie COMPAS, oparte na uczeniu maszynowym, przypisuje oskarżonemu wynik ryzyka, przewidując prawdopodobieństwo, że oskarżony ponownie dopuści się przestępstwa przed rozprawą, jeśli zostanie zwolniony za kaucją17. Narzędzie ma pomóc sędziom w skuteczniejszym podejmowaniu decyzji dotyczących tymczasowego aresztowania.
Ma być bardziej bezstronne
i sprawiedliwsze niż sędziowie ludzcy, którzy podlegają błędom poznawczym18.
Podczas gdy „obiektywność” tego systemu wydaje się przynosić korzyści społeczne,
w jego projekt wbudowano kilka niesprawdzonych założeń dotyczących stronniczości i uczciwości w obecnym systemie wymiaru sprawiedliwości
w sprawach karnych. Ponieważ system COMPAS bazuje na danych generowanych przez człowieka pochodzących
z istniejącego systemu, a systemy oparte na uczeniu maszynowym mają tendencję do działania jak „lustra” danych, na których bazują19, COMPAS po prostu nauczył się automatyzować wiele istniejących stronniczości. Na przykład nieproporcjonalne nadzorowanie pewnych grup w określonych dzielnicach oznacza, że te populacje, które często są populacjami kolorowymi, są nadreprezentowane
w zestawie danych. Poza tym faktem cechy wybrane do reprezentowania osób
w zestawie danych COMPAS (innymi słowy, abstrakcje wybrane dla danych
i modelowania zastosowania) obejmują czynniki takie jak historia wcześniejszych aresztowań. Takie punkty danych prawdopodobnie mają wbudowaną stronniczość w swój pomiar z powodu nadmiernego nadzorowania pewnych dzielnic. Innym podobnym przykładem jest stabilność społeczności, która prawdopodobnie koreluje z rasą, częściowo z powodu redliningu. Nie tylko trudno jest dokładnie zmierzyć te cechy ze względu na istniejące uprzedzenia w systemach policji
i wymiaru sprawiedliwości w sprawach karnych, ale wykorzystywanie ich do podejmowania przyszłych decyzji służy również wzmocnieniu stronniczości, która jest już obecna w zestawie danych, ponieważ system uczenia maszynowego zakłada, że rozkład wyników recydywy oparty na tym zestawie cech jest stały
w czasie.
Konkretnie, rozważmy ustalenia z raportu śledczego ProPublica na temat systemu COMPAS. W swoim dochodzeniu ProPublica odkryła, że chociaż rasa nie była używana jako cecha predykcyjna w systemie COMPAS, wskaźnik fałszywie dodatnich wyników systemu dla osób czarnoskórych (44,9%) znacznie przekroczył wskaźnik dla osób białych (23,5%)20. Innymi słowy, osoby czarnoskóre będą nieproporcjonalnie ponosić ciężar błędów popełnionych przez system, gdy zostanie on wdrożony jako zaufane narzędzie wspomagające podejmowanie decyzji przez sędziów. Abstrakcje używane do reprezentowania tych osób odzwierciedlają i wzmacniają nasze zepsute systemy wymiaru sprawiedliwości w sprawach karnych
i policyjnych21. Narzędzie COMPAS może wzmacniać nasze istniejące zepsucie, ale nie może w żaden sposób wygenerować kreatywnych rozwiązań, które w znaczący sposób przyczynią się do bardziej sprawiedliwego społeczeństwa.
Co to oznacza dla nas, technologów, którzy pracują nad opracowywaniem systemów takich jak COMPAS? Po pierwsze, niezwykle ważne jest, abyśmy byli świadomi, że stale wybieramy abstrakcyjne reprezentacje świata, gdy tworzymy modele do zastosowań technologicznych, nad którymi pracujemy.
Mamy moc decydowania o tym, których abstrakcji używamy, a wybory, których dokonujemy, niosą za sobą konsekwencje. Musimy być świadomi, czyje perspektywy są reprezentowane w naszych wyborach,
a czyje mogą być pomijane.
Jeśli mamy nadzieję projektować systemy oparte na różnych perspektywach, nie możemy tego zrobić sami. Jako projektanci
i technologowie mamy dostęp do zasobów społecznych i finansowych, które mogą ograniczać nasze perspektywy i oślepiać nas na brak pomijanych punktów widzenia. Naszym obowiązkiem jest sensowne poszukiwanie i angażowanie szerokiego grona interesariuszy w nasze decyzje techniczne, zwłaszcza tych interesariuszy, na których nowe technologie będą miały największy wpływ. Bez takich perspektyw informujących o tym, co należy zaprojektować i jak, lepiej byłoby w ogóle nie projektować nowych technologii. Angażując kluczowych interesariuszy
w proces projektowania, powinniśmy dążyć do tego, aby społeczności, na które te rozwiązania będą miały wpływ, miały kontrolę nad abstrakcjami używanymi do ich reprezentowania.
Projektując nowe technologie, musimy pytać, co jest potrzebne, a nie tylko co jest możliwe. Jednym ze sposobów osiągnięcia tego celu jest współpraca
z przedstawicielami społeczności
i organizacjami znającymi potrzeby osób, na które zmiany technologiczne mają wpływ. Musimy czerpać z praktyk takich jak projektowanie partycypacyjne
i projektowanie wrażliwe na wartości22, jednocześnie uważając, aby uniknąć „rzekomej partycypacji”23, w której członkowie społeczności są krótko konsultowani w procesie projektowania tylko po to, aby „zaznaczyć pole partycypacji”. Zamiast tego musimy dążyć do pielęgnowania znaczących, wzajemnych i długotrwałych relacji, w których społeczności dotknięte są głęboko zaangażowane i z których czerpią korzyści po wdrożeniu nowych technologii. Możemy połączyć te jakościowe
i uczłowieczające podejścia z naszymi ilościowymi procesami modelowania
i projektowania, aby tworzyć lepsze ogólne abstrakcje techniczne i modele.
Tchnięcie „nowego życia w suche kości” osób zmarginalizowanych przez technologię wymaga bliskości
i wzajemności między modelującym
a modelowanym, oraz ciągłej refleksji ze strony technologów nad wyborami modelowymi, w tym abstrakcyjnymi wyborami.
Pytania, które rozważamyw związku z abstrakcyjnością naszej pracy, to:
15 Shannon Vallor. The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking. Oxford University Press, 2024.
16 Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner. Machine bias. In Ethics of data and analytics, pages 254–264. Auerbach Publications, 2022.
17 Northpointe. Practitioner’s Guide to COMPAS Core, 2015.
18 Ibidem.
19 Shannon Vallor. The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking. Oxford University Press, 2024.
18