*das ist „Binärisch“ und bedeutet:…25
Was haben die Schufa, Google Maps und Youtube gemeinsam? Algorithmen sind allgegenwärtig und aus unserem Alltag nicht mehr wegzudenken. Auch wenn jeder ungefähr zu wissen glaubt, was Algorithmen überhaupt sind, hättet ihr diese drei Schlagworte mit Algorithmen in Verbindung gebracht? Mit der Mathematikerin Paola Lopez sprechen wir heute über solche Alltagsbeispiele und auch darüber, was Algorithmen generell sind und gehen den Fragen nach, ob Algorithmen ungerecht sein können und wie intelligent Künstliche Intelligenz wirklich ist. Algorithmen sind keine Menschen, auch wenn sie vom Menschen gemacht sind und haben doch gravierende Auswirkungen in verschienen Lebensbereichen, ob bei sozialstaatlichen Leistungen, der Schufa oder bei der Kreditwürdigkeit einer Bank. Paola Lopez erzählt uns außerdem, was es mit der Bias Bounty Challenge auf Twitter auf sich hat und weshalb es, bevor man auf Twitter selbst seinen Bildausschnitt für das Profilbild wählen konnte, als Frau mit Ausschnitt oder als person of colour ein Problem hatte, weil die Fokussierung schlichtweg benachteiligt hat.
Habt ihr euch schonmal durch Algorithmen im Alltag ungleich behandelt gefühlt?
Hört gerne in unsere Folge rein uns hinterlasst uns eure Meinung auf Twitter oder Instagram!
Bei Fragen oder Anregungen schreibt uns gerne eine Mail an hallo@dasou.law und folgt uns auf Twitter/Instagram bei dasou_law.
Show-Notes
Paola Lopez am Weizenbaum Institut: https://www.weizenbaum-institut.de/portrait/p/paola-lopez/
Paola Lopez am Wissenschaftszentrum Berlin für Sozialforschung:
https://wzb.eu/de/personen/paola-lopez
.
Transkript
Karina Filusch:Hallo und herzlich willkommen zum DaSou-Podcast. Mein Name ist Karina Filusch. Ich bin Datenschutz-Anwältin und externe Datenschutzbeauftragte. In jeder Folge spreche ich mit einer Expertin oder einem Experten über das Thema Datensouveränität, abgekürzt DaSou. Heute spreche ich mit Paola Lopez. Sie arbeitet am Institut für Rechtsphilosophie der Universität Wien und promoviert aktuell im Bereich Interdisciplinary Legal Studies. Sie ist Mathematikerin und hat Mathematik an der Universität Wien studiert. Heute möchte ich mit ihr über das Thema Algorithmen reden. Was sind Algorithmen? Wer schreibt Algorithmen? Sind diese Personen mächtig, die Algorithmen erschaffen? Warum sind Algorithmen oft so ungerecht? Vielleicht erinnert ihr euch noch, als auf Twitter Fotos geteilt wurden, auf der eine weiße und eine schwarze Person zu sehen waren und egal wie die beiden Personen auf dem Bild angeordnet waren, es wurde immer auf die weiße Person fokussiert. Mit Paola rede ich heute darüber, wie das sein kann, was die Ursachen sind, was dahintersteckt und wie man dieses Problem lösen kann. Liebe Paola, du bist Mathematikerin. Kannst du uns erklären, was Algorithmen sind? Seit wann gibt es Algorithmen überhaupt?
Paola Lopez:Der Begriff Algorithmus ist sehr vielschichtig und wird auch in unterschiedlichen Kontexten unterschiedlich verwendet. Mathematisch ist ein Algorithmus ein schrittweises Lösen eines mathematischen Problems bzw. einer mathematischen Problemstellung. Das hat erstmal mit der digitalen Sphäre oder mit Computern gar nichts zu tun. Ein einfaches Beispiel ist der Divisionsalgorithmus, den man aus der Schule kennt. Wenn zwei Zahlen gegeben sind, zum Beispiel 412 und 17, dann kann man 412 durch 17 mit Stift und Papier dividieren und wenn man alle Schritte entsprechend befolgt, hat man am Ende ein Ergebnis. Diese allgemeine Art von Algorithmus ist nicht gemeint, wenn man in den Medien und in der Politik usw. von Algorithmen spricht. Was wir in diesen Diskursen meinen, ist meistens die Verarbeitung von großen Datenmengen, um irgendwelche Informationen zu gewinnen, um dann irgendwelche Entscheidungen zu treffen oder Schlüsse zu ziehen. Wenn man von Algorithmen als großes Buzzword spricht, dann geht es eher um kritische Diskurse – man macht sich Sorgen wegen Datenschutz, Diskriminierung oder Überwachung. Dieser mathematisch sehr allgemeine Begriff des Algorithmus ist zu einem Überbegriff geworden, der so ein gewisses Unbehagen bündelt – ein Unbehagen mit Blick auf Big Data und Big Tech.
Karina Filusch:Könntest du uns alltägliche Beispiele für Algorithmen nennen? Ich habe das Gefühl, dass viele von uns dieses Wort „Algorithmus“ schon einmal gehört haben, aber dass uns gar nicht so richtig bewusst ist, wo sie überall auftauchen.
Paola Lopez:Beispiele sind das automatisierte Filtern von Spam-E-Mails oder sogenannte Recommander-Systeme, die aufgrund von Nutzer*innenverhalten bestimmen, welches YouTube-Video einem als nächstes vorgeschlagen wird. Weitere Beispiele sind Systeme, die bestimmen, welche Seiten als erstes bei der Google Suche angezeigt werden, oder welche Route auf Google Maps angezeigt wird. Ferner gibt es in sozialstaatlichen Kontexten algorithmische Systeme, die aufgrund der eingegebenen Daten bestimmen oder mitbestimmen, welche staatlichen Förderressourcen Bürgern zur Verfügung gestellt werden. Zudem können anhand von Patient*innendaten Prognosen von Chancen oder Risiken im medizinischen Bereich, z.B. über den Verlauf einer Krankheit, aufgestellt werden. In der medizinischen Diagnostik ist die Bilddiagnose von MRT oder Röntgenbildern möglich. Weitere Beispiele sind auch die deutsche Schufa oder Credit Scoring. Oft sind die Verfahren intransparent und man weiß als Einzelperson nicht wirklich, welche Daten wohin fließen und wer was von einem weiß.
Karina Filusch:Der Begriff „Algorithmus“ fällt nicht nur im Zusammenhang mit Big Data und Co., sondern auch im Zusammenhang mit dem Begriff „Künstliche Intelligenz“. In welchem Verhältnis stehen diese beiden Begriffe und haben sie etwas miteinander zu tun?
Paola Lopez:Die mathematischen Methoden der künstlichen Intelligenz sind Algorithmen. Umgekehrt ist nicht jeder Algorithmus eine künstliche Intelligenz. Technisch gesehen ist ein Algorithmus eine bestimmte Art von Methoden und von Werkzeugen, die heutzutage größtenteils Methoden des maschinellen Lernens sind. Auf Englisch nennt man das „Machine Learning“. Dabei geht es abstrakt formuliert darum, in großen Datenmengen Muster zu erkennen. Beim Machine Learning gibt es dann zwei Arten bzw. zwei Stufen von Algorithmen: Ein erster Algorithmus erkennt in den gegebenen Daten ein Muster und dieses Muster wird dann in eine mathematische Funktion, also in ein mathematisches Modell, übersetzt. Dieser Schritt zeichnet das „Learning“ in „Machine Learning“ aus. Ein zweiter Algorithmus wendet dieses Modell auf neue Daten an, um beispielsweise eine E-Mail als Spam oder Nicht-Spam zu klassifizieren oder, um ein Objekt auf einem Bild zu erkennen. Der zweite Algorithmus ist, womit die Nutzer*innen interagieren.
Karina Filusch:Das heißt, man könnte sagen, künstliche Intelligenz ist nicht intelligent.
Paola Lopez:Genau, der Begriff der künstlichen Intelligenz ist ein technischer Begriff bzw. eine technische Bezeichnung, auf die man sich geeinigt hat. Das hat mit dem Wunsch zu tun, dass künstliche Intelligenz intelligente Entscheidungen treffen oder intelligent Prozesse gestaltet soll. Vorerst ist der Begriff der künstlichen Intelligenz nicht ein beschreibender Begriff, sondern eher ein Wunschbegriff.
Karina Filusch:Du schreibst deine Doktorarbeit über die Ungerechtigkeit in Algorithmen. Du hast mich darauf hingewiesen, dass Ungerechtigkeit und Diskriminierung zwei verschiedene Sachen sind, da ich zuerst dachte, wir würden heute über die Diskriminierung durch Algorithmen reden. Wo liegt der Unterschied zwischen Ungerechtigkeit und Diskriminierung?
Paola Lopez:Ich würde sagen, dass Diskriminierung auf jeden Fall ein Teil der Ungerechtigkeit ist, aber dass Ungerechtigkeit – also so, wie ich sie verwende – ein breiterer Begriff ist und mehr umfasst. So umfasst die Ungerechtigkeit die klassische Diskriminierung, also wenn irgendwo in einer Entscheidungskette in einem wichtigen Lebensbereich ein algorithmisches System eingesetzt wird, das aufgrund von Dateneinträgen oder Merkmalen benachteiligend agiert. Wir erscheinen in solchen Systemen nicht als Individuen mit unserer ganzen Person, sondern immer nur als Bündel von Datenkategorien. Diese Bündel von Datenkategorien sind in gewisser Weise persönlich und in gewisser Weise überhaupt nicht persönlich. Was sagen zum Beispiel die Dateneinträge „Mann über 40“ und der Dienstleistungsbereich über eine Person und deren Arbeitsbiografie aus? – Nicht sehr viel, aber dennoch sind es solche Daten, die teilweise diskriminierungsrechtlich sensibel sind. Insbesondere in einem intransparenten System, das man zum Beispiel als Behörde von außen extern ankauft, kann es passieren, dass sich diskriminierende Effekte einschleichen. In diesem Zusammenhang entsteht ein Dilemma: Algorithmen werden oft eingesetzt, da man sich einen Effizienzgewinn verspricht und dann ganz viele Fälle nach der gleichen Algorithmenlogik entschieden werden. Wenn es versteckte diskriminierende Effekte gibt, können sie sich gerade wegen dieser datenbasierten Effizienz schnell verbreiten. Zu beachten sind also immer zwei Seiten. Eine weitere Facette von Ungerechtigkeit sind Fälle, in denen übermäßig in private Sphären eingegriffen wird. Wenn dies zum Beispiel an sozialstaatliche Kontexte oder Asylkontexte gekoppelt ist bzw. in Grenzregimen oder in der Strafjustiz passiert, trifft es Menschen, die ohnehin schon in einer prekären Ausgangslage sind. Wird in einem solchen Fall mein Recht auf Datenschutz verletzt, muss ich etwas dagegen tun. Das gilt auch für Diskriminierungen. Insbesondere in Lebenssituationen, in denen man wenige Kapazitäten hat, ist das wahnsinnig schwierig. Das ist auch eine wichtige Facette der Ungerechtigkeit, die ich meine. Derzeit kann der Trend beobachtet werden, dass solche teilweise recht invasiven algorithmischen Systeme zunehmend in sensiblen Bereichen, in denen die Betroffenen Menschen in vulnerablen Situationen sind, eingesetzt werden. Ein dritter Aspekt, der mir auch wichtig ist, ist, dass algorithmische Systeme oft falsche Ergebnisse liefern. Sie liefern Ergebnisse, die nicht systematisch diskriminierend sind, sondern einfach falsch. Beispielsweise wird eine Postleitzahl falsch übernommen und dann bekomme ich irgendetwas nicht. Dagegen muss man sich auch wehren. Gerade dann, wenn Verantwortlichkeiten nicht klar sind und nicht ausreichend geschulte Sachbearbeiter*innen mit einem Algorithmus hantieren, kann es zu Benachteiligungen kommen. Es handelt sich um Ungerechtigkeit, wenn algorithmische Systeme in Bereichen eingesetzt werden, in denen es den Betroffenen oftmals an Privilegien, großen Kapazitäten oder sonstige Ressourcen mangelt.
Karina Filusch:Das leuchtet ein. Worum geht es in deiner Arbeit genau? Mit welchen Themenfeldern beschäftigst du dich?
Paola Lopez:Ich betrachte die Frage, wie es gerechtigkeits- und ungerechtigkeits-theoretisch zu beurteilen ist, wenn staatliche oder staatsnahe Akteure datenbasierte algorithmische Systeme anwenden, um in sensiblen Lebensbereichen Entscheidungen zu treffen oder Entscheidungen anzuleiten. Solche sensiblen Lebensbereiche sind der sozialstaatliche Bereich, die Strafjustiz oder der Asylbereich, also immer dann, wenn der Staat oder staatliche Akteure mit Individuen interagieren, die vielleicht in vulnerablen Positionen sind und die sich in sehr sensiblen Lebensbereichen befinden. Wenn in diesen Fällen ein Teil der Interaktion intermediär wird oder durch algorithmische Systeme gestaltet wird, können Effekte entstehen, die schlichtweg ungerechtigkeitstheoretisch problematisch sind.
Karina Filusch:Jetzt frage ich mich: Wie kommt das, dass du als Mathematikerin zum Thema Ungerechtigkeit kommst?
Paola Lopez:Ich finde es wahnsinnig interessant und fand es immer wahnsinnig interessant, darüber nachzudenken, auf welche Weise Gesellschaft und Technologie in Wechselbeziehungen zueinanderstehen. Eine Gesellschaft ohne Technologie ist derzeit nicht vorstellbar. Technologien gibt es nur in einem bestimmten gesellschaftlichen Kontext. Es ist ein gegenseitiges Beeinflussen, das ich spannend finde. Irgendwann bin ich darauf gestoßen, dass meine geliebte Mathematik auch in Kontexten zum Einsatz kommt, die ich für recht fragwürdig halte. Allein das Wort „künstliche Intelligenz“ zeigt, dass diesen algorithmischen Systemen sehr viel zugetraut wird. So gibt es ein großes Vertrauen dahingehend, dass diese datenbasierten Algorithmen wahnsinnig viel können. Meiner Meinung nach ist die wichtigste Frage nicht: Was genau kann künstliche Intelligenz? Ich finde auf gesellschaftlicher und auf politischer Ebene ist viel spannender: Was wird möglich oder was wird gesellschaftlich denkbar und politisch machbar, wenn man auf Algorithmen vertraut, was sonst aus gerechtigkeits- oder demokratietheoretischer Perspektive vielleicht nicht denkbar wäre? Wenn sich ein Buzzword wie das der künstlichen Intelligenz durchsetzt, findet man dieses dann auch recht schnell in Regierungsprogrammen oder in Programmen von Forschungsförderung. Da gibt es ganz viele Projekte. Das bekommt eine gewisse Eigendynamik. Plötzlich möchten alle etwas mit künstlicher Intelligenz machen. Die Frage ist dann nicht: Wenn ich das Problem XY habe, was wäre eine gute Lösung dafür? Stattdessen kommt die Frage auf: Wo könnte man überall künstliche Intelligenz einsetzen? Diese Entwicklung kreiert teilweise seltsame Effekte.
Karina Filusch:In welchem Zusammenhang stehen denn für dich Ungleichheit und Algorithmen? Warum sollte jemand dafür sorgen oder absichtlich dafür sorgen, dass es mehr Ungleichheit gibt?
Paola Lopez:Meine erste plumpe Antwort wäre, dass ein kapitalistisches Wirtschaftssystem ganz wesentlich auf verschiedenen Unterdrückungsformen und Ungleichheit beruht und es deswegen auch vorteilhaft für manche ist, wenn andere systematisch benachteiligt werden. Ich denke nicht, dass es einen großen algorithmischen Masterplan dazu gibt, wie man manchen Menschen den Zugang zu Sozialleistungen, zu einer fairen Behandlung in der Strafjustiz oder zu Sichtbarkeit in sozialen Medien am besten verwehrt. Rechtlich gesehen ist eine Diskriminierung auch verschuldensunabhängig. Das heißt, man muss keinen Diskriminierungs-Masterplan haben, damit etwas diskriminierend ist. Umgekehrt denke ich auch, dass es keinen großen Masterplan gibt, der bezweckt, benachteiligenden Effekten von Automatisierung in bestimmten Lebensbereichen entgegenzuwirken. Wenn Gesichtserkennung bei schwarzen Menschen nicht gut funktioniert und Fehler bei der Zuordnung passieren, sodass es dann wirklich zu falschen Verhaftungen kommt – einfach, weil die Technologie systematisch nicht gut funktioniert – dann ist das etwas, was in einem Rechtsstaat eigentlich nicht passieren darf. Ebenso verstärkt es die Ungleichheiten hochgradig, wenn Menschen eine niedrige Chancenprognose am Arbeitsmarkt bekommen und deswegen aus Effizienzgründen weniger arbeitsmarktpolitische Ressourcen zugesprochen bekommen, um insgesamt an Budget zu sparen. Gerade auf staatlicher Seite und von staatlicher Ebene aus müssen Entscheidungen besonders legitimierbar sein. Vor diesem Hintergrund kann das Ganze heikel werden. Insgesamt denke ich, dass es eine schwierige Konstellation ist, wenn algorithmische Entscheidungsfindung gerade in bestimmten Lebensbereichen (die besonders Schauplätze von Ungleichheiten sind, z.B. im sozialstaatlichen Bereich, in der Strafjustiz oder im Asylbereich) eingesetzt wird, um etwas über Individuen zu entscheiden.
Karina Filusch:Vor allem, weil es dann weitreichende Konsequenzen für die Menschen haben kann, wenn sie verhaftet werden. Du hattest gerade die Problematik um Bilder erwähnt, auf denen schwarze Menschen nicht erkannt werden oder gerade erkannt werden und das zu Verhaftungen führt. In sozialen Medien geht es grundsätzlich immer viel um Bilder und Sichtbarkeit. Welche Probleme können hier in diesem Bereich durch die Bildverarbeitung und durch Algorithmen auftreten?
Paola Lopez:Ein großes Grundproblem auf einer abstrakten Ebene ist, dass die Art, wie Menschen ein Bild betrachten und die Art, wie ein Computer Bilddaten verarbeitet, ganz unterschiedlich ist. Computer sehen erst mal nichts, sondern haben nur Informationen über Pixel. Daraufhin können sie diese Informationen in Regionen zusammenfassen und Aussagen treffen. Computer können Kontraste und Farben erkennen. Das ist eine vollkommen andere Art des Sehens und eine andere Betrachtungslogik als die Menschliche. Natürlich gibt es deshalb auch das Ziel, Computern beizubringen, wie Menschen zu sehen. Zuerst einmal aber beginnt man das Datenmaterial mit sehr unterschiedlichen Arten des Sehens zu betrachten. Wenn zum Beispiel ein Datenpunkt gegeben ist, der sagt, dass das Alter einer Person 28 ist, ist dies keine Information, die ein Mensch nicht sehen kann. In der Zahl 28 kann sich erst mal nichts verstecken. In einem Bild ist das anders. Es gibt dieses schöne ikonische Beispiel von einem Bild von einem Pandabären. Bei diesem Bild erkennt ein Bilderkennungsprogramm zuerst, dass ein Panda abgebildet ist. Für das menschliche Auge sieht das Bild auch aus wie ein Pandabär. Dann wird eine Schicht von Störpixeln darübergelegt, also ein visuelles Rauschen auf Pixelebene, das das menschliche Auge nicht wahrnimmt. Es sieht immer noch genauso aus wie das gleiche Bild von dem gleichen Panda, aber das Bilderkennungsprogramm erkennt den Panda plötzlich nicht mehr. Ich finde dieses Beispiel ist schön und zeigt, dass sich auf der Pixelebene ganz viel abspielen kann, was wir nicht sehen. Wenn wir und Computer uns nicht einmal darauf einigen können, was gleich aussieht und was nicht gleich aussieht, ist das eine schwierige und problematische Basis der Human-Computer-Kommunikation. Das heißt nicht, dass man nicht mit visuellen Daten arbeiten soll. Das heißt nur, dass man besonders aufpassen sollte. Gerade wenn man solche Systeme, die auf Bildverarbeitung beruhen, in sozialen Medien verwendet, kann das zu unerwünschten Effekten und auch zu Traumata führen. Viele Menschen haben einen wesentlichen Teil ihres öffentlichen und auch privaten Lebens in den sozialen Medien. Das ist ein wichtiger Lebensbereich.
Karina Filusch:Gibt es denn einen Weg, um dieser, ich nenne das jetzt mal Täuschung mit diesen visuellen Störpixeln auf die Schliche zu kommen?
Paola Lopez:Es kommt immer auf das konkrete Beispiel an, aber eine Grundproblematik ist, dass diese Machine Learning Systeme gebaut werden, indem große Datenmengen auf Muster abgesucht werden. Die Muster ergeben sich aus den Daten. Die Programmierer*innen programmieren zum Beispiel nicht, dass ein gewisses Aussehen auf einen Pandabären hindeutet. Es gibt keine solchen expliziten Anweisungen. Stattdessen kommt das Wissen aus den Daten in die Muster und dieses in das Machine Learning Programm. Das heißt, es ist erst einmal schwierig zu schauen, wonach man überhaupt sucht, gerade weil sich dann bestimmte Effekte verstecken können, absichtlich oder nicht absichtlich. Man kann nur das finden, wonach man beim Testen von algorithmischen Systemen sucht. Auf vieles kommt man dann auch gar nicht.
Karina Filusch:Das heißt, man ist darauf angewiesen, dass die Leute, die Algorithmen machen, das auch ordentlich machen. Man muss einfach vertrauen, weil man von außen als Nutzer*in gar kein Mittel dagegen hat. Du hattest noch ein Beispiel erwähnt, das sich auf Twitter abgespielt hat. Dort wurden verschiedene Bilder geteilt und der Algorithmus von Twitter hat ganz interessant darauf reagiert. Vielleicht könntest du uns dieses Beispiel noch einmal näherbringen.
Paola Lopez:Auf der Plattform kann man Bilder in seinen eigenen Postings inkludieren. Es gab einen Machine Learning Algorithmus, der automatisiert aus diesen Bildern, die man hochlädt, einen Ausschnitt für die Vorschau erstellt. Wenn man dann auf das Posting geklickt hat, konnte man das ganze Bild sehen. Zunächst hat dieses System aber ausgewählt, was überblicksmäßig gezeigt wird. Nach einiger Zeit gab es dann Vorwürfe von User*innen, dass dieses Bildausschnittsystem systematisch schwarze Menschen herausschneidet und in der Vorschau unsichtbar macht. Es gab auch Vorwürfe, dass bei Bildern von Frauen ein Bildausschnitt gewählt wird, der das Dekolleté betont. So wurden Vorschaubilder kreiert, die man vielleicht nicht unbedingt so haben wollte, wenn das Gesicht rausgeschnitten wird. Twitter hat dann geantwortet, dass sie das System eigentlich auf Bias, also auf systematische Verzerrungen getestet haben, aber das natürlich weiter vertiefen wollen. Die Problematik ist, dass das algorithmische System dazu gebaut war, den „wichtigsten Teil“ eines Bildes zu finden, um diesen dann für eine Vorschau zu generieren. Die unwichtigen Teile sollten nicht gezeigt werden. Dahinter stecken Wertungen. Was ist wichtig? Was heißt wichtig? Das ist ein Begriff, bei dem sich bereits zwei Menschen nicht einigen können. Das System wurde mit Eye-Tracking-Daten trainiert, also mit Daten versehen oder aus Daten gebaut. Das heißt, man hat Menschen Bilder gezeigt und gemessen, wo sie als erstes hinsehen und einen Datensatz gesammelt. Dieser Datensatz bildete die Grundlage für das, was auf einem Bild als wichtig galt. Vor diesem Hintergrund ist vorstellbar, dass die Daten darauf basierten, dass die Proband*innen zuerst auf manche Bildbereiche geschaut haben und dass es nicht die beste Idee ist, genau diese Bereiche in einem Bildausschnitt zu zeigen. So wurde der Blick weniger Proband*innen auf die Screens von Millionen Twitter User*innen übernommen.
Karina Filusch:Das heißt, diese Proband*innen haben dann vorzugsweise auf das weibliche Dekolleté geguckt oder vorzugsweise auf weiße Menschen statt auf schwarze Menschen, wenn sie zusammen auf einem Bild waren. Das hat dann dazu geführt, dass dieser Algorithmus das übernommen hat?
Paola Lopez:Ich finde es schwierig, das zu sagen. Das System wurde schließlich gebaut, um diesen Blick zu imitieren. Dabei ist aber unklar, was übernommen wurde, inwiefern das funktioniert hat und ob der Blick wirklich perfekt dupliziert wurde. Es wäre naheliegend, davon auszugehen, dass das so ist. Aber, um wirklich methodologisch robust zu zeigen, dass der Algorithmus systematisch schwarze Menschen nicht mehr pauschal inkludiert oder Dekolletés sehr gern zeigt, braucht man eine große Menge von Bildern, an denen man das testen kann. Zum Beispiel benötigt man Bilder, in denen schwarze Menschen und nicht schwarze Menschen zu sehen sind. Dann muss man schauen und statistisch evaluieren, wer in der Vorschau gezeigt wird und wer nicht. In diesen Bildern, mit denen man das testen würde, sollten alle Menschen in gleich wichtiger Position abgebildet sein. Nicht kleiner und hinten, sondern ungefähr so in der Mitte. Man muss auch schauen, dass sie auch ungefähr gleich wichtig aussehende Kleidung tragen, weil das dann natürlich die Kontraste in einem Bild beeinflusst. Es ist gar nicht so leicht, das zu testen. Solche Tests wurden bereits durchgeführt. In Tests von Forscher*innen wurde deutlich, dass sich die Bildausschnitte ändern, wenn man in einer für das menschliche Auge kaum sichtbaren Weise an Stellschrauben wie den Kontrasten oder der Belichtung dreht. Das heißt, es ist gar nicht so einfach, das auf robuste Art zu testen.
Karina Filusch:Wie hat denn Twitter auf diese ganzen Vorwürfe reagiert?
Paola Lopez:Twitter hat das System erstmal abgedreht und macht jetzt den Bildausschnitt auf eine andere Art, was ich auch richtig finde. Die User*innen wählen den Ausschnitt jetzt selbst aus. Sonst wird ein Ausschnitt um die Mitte des Bildes erstellt, was natürlich auch die User Agency vergrößert. Der Begriff der Wichtigkeit in einem Bild ist so subjektiv, dass es Sinn ergibt oder naheliegend ist, die User*innen selbst wählen zu lassen, welchen Ausschnitt sie in der Vorschau gezeigt haben möchten oder nicht. Ferner hat Twitter eine Bias Bounty Challenge gestartet, in der das System teilweise transparent gemacht wurde. Jedoch wurde es nicht voll transparent gemacht, was auch kritisiert wurde.
Karina Filusch:Kannst du sagen, was eine Bias Bounty Challenge ist?
Paola Lopez:Eine Bounty Challenge aus der IT kommt eigentlich von einer Bug Bounty Challenge – Bug im Sinne von Computerfehler. Es handelt sich dabei eher um ein Format, das man aus der IT-Security kennt, wo Firmen gewisse Teile von Systemen öffentlich machen und sogenannte „ethical Hackers“, also ethische Hacker, einen dazu animieren, Sicherheitslücken zu finden. Wenn die dann gefunden werden, dann kriegt man für die Sicherheitslücken, also für die gefundenen Bugs, sozusagen ein Bounty, also ein Kopfgeld. Dieses Format wurde von Twitter übernommen, um nicht nach Sicherheitslücken oder Fehlern zu suchen, sondern um gezielt nach Bias zu suchen. Das wurde zu einem Spektakel. Die Leute wurden dazu animiert, Bias zu finden. Dafür gab es auch Preisgelder, also das Kopfgeld (Bounty), von einigen tausend Dollar.
Karina Filusch:Jetzt werden Algorithmen von Menschen gemacht. Das würde doch bedeuten, dass wir die Chance haben, dies zu ändern. Aber warum geschieht das nicht?
Paola Lopez:Das geschieht bis zu einem gewissen Grad schon. Manchmal ist es allerdings aufgrund der technischen Schwierigkeiten, die ich angesprochen hatte, nicht so einfach, technisch festzustellen, wie genau ein System entscheidet und arbeitet. Das ist natürlich eher ein Argument gegen die Verwendung eines Systems, da es schwer ist, als Institution oder Firma hinter einem System zu stehen, wenn man nicht genau sagen kann, was die Entscheidungslogik dieses Systems ist. Außerdem gibt es oft eine Interessensverteilung, die solchen Veränderungen entgegensteht. Wenn man als staatliche Institution oder Firma ein teures Digitalisierungsprojekt entwickelt und dann nachher feststellt, dass es für manche Menschen nicht gut funktioniert, systematisch nicht gut funktioniert oder, dass es Effekte gibt, die benachteiligen sind, dann muss das erst mal geändert werden. Das erfordert Ressourcen. Gerade der Hype um künstliche Intelligenz, auch im Zusammenhang mit Innovation, führt oft dazu, dass Dinge recht schnell entwickelt und gebaut werden. Im Endeffekt wünscht man sich eine Zauberlösung mit künstlicher Intelligenz, die sehr effizient ist und viele Probleme behebt. Dann stellt man fest, dass es doch nicht so einfach ist. Es gibt eben keine Zauberlösungen.
Karina Filusch:Wer sind eigentlich die Menschen die Algorithmen schreiben? Mir scheint es so, als hätten die ziemlich viel Macht oder wie schätzt du das ein?
Paola Lopez:Eine Sache, welche die ganze Problematik der datenbasierten Methoden des Machine Learning noch schwieriger macht, ist, dass es sich gerade um einen Bereich handelt, in dem wahnsinnig viel sozusagen „recycelt“ wird. Man programmiert nicht irgendetwas von null an, man erfindet nicht das Rad neu, sondern verwendet viele Architekturteile, viele Algorithmusteile, die es schon gibt. Auch Daten, die verarbeitet werden, können natürlich auch schnell irgendwohin transferiert werden, wenn es entsprechende Abkommen gibt. So können sich benachteiligende Effekte auch von Kontext zu Kontext übertragen, indem ein Stück von der Software oder von der Architektur transferiert wird. Das macht es auch weiterhin schwierig. Es gibt immer wieder Aufrufe dazu, dass Programmierer*innen im Studium mehr über Ethik usw. lernen sollen. Das stimmt sicherlich. In meiner Wahrnehmung jedoch wird den einzelnen Leuten in den medialen Diskursen ein bisschen zu viel Macht zugeschrieben. Wenn man sich das von nationaler Seite ansieht, dann ist ein Programmierer bzw. eine Programmiererin immer ein Teil eines Ganzen, ein Teil einer Organisation oder einer Softwarefirma. Eine andere Person entscheidet aber, dass ein Auftrag angenommen wird und dass jetzt ein Algorithmus für eine Behörde oder einen anderen Auftraggeber programmiert werden soll. Dahinter stehen wiederum zumeist politische Entscheidungen. Auf staatlicher Ebene sind dies zum Beispiel Innovationsagenten oder Minister, die sich mit Digitalisierungsprojekten besonders hervortun möchten. Zudem arbeiten in einer Softwarefirma auch verschiedene Leute zusammen und jeder macht seinen Teil unter Zeitdruck, wie immer in den Arbeitskontexten. Auch die Daten kommen von irgendwo anders her. Das heißt nicht, dass Programmierer*innen keine Verantwortung für ihre Arbeit übernehmen wollen oder können. Zur Veranschaulichung der Problematik hilft ein Anwendungsfall aus Österreich: Wenn man als externe Firma den Auftrag, ein Prognosesystem zur Berechnung der Chancen von Erwerbs – bzw. Arbeitslosen auf dem Arbeitsmarkt zu bauen, bekommt, dann bekommt man auch die Daten und das Ziel mitgeliefert. Wenn dann das Prognosesystem verwendet wird, um denen mit wenigen Chancen weniger Förderressourcen zuzusprechen, dann haben die Programmierer*innen nicht so viel damit zu tun. Natürlich kann man die technische Umwälzung kritisieren, aber das ist zu kurz gegriffen. Es gibt immer eine ganze Kette von Verantwortlichkeiten und von Entscheidungen, die nicht alle von den Programmierer*innen kommen.
Karina Filusch:Hast du eine Lösung, wie man Algorithmen gerecht hinbekommen könnte?
Paola Lopez:Ich finde bei dieser Frage gibt es zwei Ebenen. Zuerst muss man unterscheiden: Ist der Anwendungskontext in einem algorithmischen System? Gibt es da Ungerechtigkeiten oder nicht? Wenn es darum geht, Ressourcen zu verteilen und das auf eine Weise geschieht, die zum Beispiel denen mit weniger Chancen weniger Ressourcen zuspricht, dann kann ein algorithmisches System an sich perfekt sein und trotzdem Ungleichheit fördern. In solchen Fällen geht es um den dahintersteckenden Anwendungskontext und die Entscheidungslogik einer Institution oder staatlichen Behörde. Hier kann man nicht viel an algorithmischen Systemen ändern, um das Resultat gerecht zu machen. Wenn es aber darum geht, dass der Anwendungskontext prinzipiell in Ordnung ist und das algorithmische System schlecht, dann kann man auf jeden Fall ein besseres bauen, wenn man das möchte.
Karina Filusch:Wenn man das möchte, genau. Jetzt kommen wir leider schon zu unserer letzten Frage: Was ist Dasou für dich?
Paola Lopez:Das habe ich mich auch gefragt, weil ich weiß, dass du diese Frage in deinem Podcast immer stellst. Ich beantworte die Frage mit Bedingungen für Freiheit und Autonomie aus der Rechtsphilosophie und setze Souveränität und Autonomie in dem Sinn gleich. Da gibt es drei Bedingungen, die auch meine Betreuerin gerne verwendet und je nachdem, ob und wie diese drei Bedingungen von einer Gesellschaft erfüllt werden, kann ein Individuum mehr oder weniger autonom und dann in dem Fall datensouverän entscheiden. Zuerst müssen adäquate Möglichkeiten vorhanden sein, um Entscheidungen zu treffen. Es muss verschiedene Möglichkeiten für mein Handeln geben. All diese Möglichkeiten müssen im Grunde okay sein. In unserem Datenkontext ist es in Ordnung nicht einem algorithmischen System unterworfen zu sein. Bleiben mir dann Dinge verwehrt? Kann ich am öffentlichen Leben teilnehmen? Kann ich mein Gesicht der Gesichtserkennung entziehen oder hängen überall Kameras und ich kann mich eigentlich nur dann entziehen, wenn ich die ganze Zeit eine Ski Maske trage. Den Punkt halte ich für sehr schwerwiegend verletzt. Das ist das erste. Zweitens (das sind dann die die inneren Voraussetzungen) braucht man eine Fähigkeit und das Wissen, um diese Möglichkeiten, die es nach Punkt eins geben muss, auch wahrzunehmen und zu reflektieren und dann eine Entscheidung zu treffen. Dazu gehört im Algorithmenkontext Transparenz und das Wissen um Datenverarbeitung. Ich meine eine gute Transparenz und nicht nur, dass man sich durch 400 Formulare klickt, für die man keine Zeit hat. Das ist eine Verantwortung auf der Seite derer, die ein algorithmisches System anwenden. Was man braucht, ist eine Transparenz, die sichtbar macht, was ein System genau macht und wie. Wenn man das als Institution nicht beantworten kann, weil zum Beispiel der Algorithmus zu komplex ist, dann kann man überdenken, ob man ihn wirklich verwenden will. Wie gut kann man hinter einer Entscheidung stehen, die man nicht wirklich erklären kann? Das gehört auch alles dazu. Die dritte Voraussetzung ist die Abwesenheit von Zwang oder Manipulation, also sozusagen die negative Freiheit, Freiheit von Zwang und Freiheit von Gewalt. Gerade ökonomische Abhängigkeit, Prekarität oder Armut, also eine Abhängigkeit von Sozialleistungen, sind ein Faktor, der die Wahlmöglichkeit durchaus einschränken kann. Muss ich Compliance leisten und meine Daten verarbeiten lassen, wenn ich eine Sozialleistung in Anspruch nehmen möchte? Wenn ja, dann ist das eine Einschränkung der Möglichkeiten. Diese drei Bedingungen, also hinreichende Möglichkeiten, Vielfalt, Kapazitäten und das Wissen, um diese Möglichkeiten zu reflektieren sowie die Freiheit von Gewalt und Zwang, müssen von einer Gesellschaft erfüllt sein, damit man als Individuum autonom und auch datensouverän handeln kann.
Karina Filusch:Liebe Paola, ich danke dir vielmals für deine Zeit und dafür, dass du uns Algorithmen erklärt und nähergebracht hast. Ganz lieben Dank.
Paola Lopez:Vielen Dank für die Einladung. Es hat mich sehr gefreut.
Karina Filusch:Ich hoffe, die Folge hat euch gefallen. Bitte abonniert uns oder hinterlasst uns einen Kommentar. Ihr könnt uns auch auf Twitter oder Instagram schreiben. Ihr findet uns dort unter dasou_law. Bis zum nächsten Mal. DaSou ist eine Produktion der Kanzlei Filusch. Mehr Infos findet ihr auf unserer Webseite. Die Redaktion besteht aus Anja Lindenau, Aileen Weibeler und Karina Filusch. Der Jingle wurde komponiert von Mauli. Die Idee zu DaSou hatte Axel Jürs. Das Cover hat Hélène Baum erstellt. Beraten wurden wir von Susan Stone. Editiert wurde der Podcast von Christoph Hinners.