*das ist „Binärisch“ und bedeutet:…21
Spielt es für die künstliche Intelligenz einer Gesichtserkennung eine Rolle, welche Hautfarbe das Gesicht hat? Wir sind uns einig, dass das nicht so sein darf. Warum es leider doch so ist, darüber sprechen wir in dieser Folge mit Dr. Felix Bieker. Dr. Felix Bieker ist Mitglied im Forschungsverbund „Forum Privatheit” und juristischer Mitarbeiter im Projektreferat des Unabhängigen Landeszentrums für Datenschutz Schleswig-Holstein (ULD). Mit uns spricht er darüber, ob der Fortschritt in der Technik Diskriminierungen fördert oder hemmt, warum die DSGVO vor Diskriminierung schützt und warum insbesondere Frauen von Diskriminierung betroffen sind. Wir sprechen über marginalisierte Gruppen, die anhand ihres Geschlechts, Hautfarbe, Sexualität oder Einkommensverhältnisse diskriminiert werden. Warum gerade diese Menschen bei der Datenverarbeitung diskriminiert werden, hängt damit zusammen, dass Technik vom Mensch gemacht wird und gegen jegliche Diskriminierung nur gesamtgesellschaftlich vorgegangen werden kann. Außerdem sprechen wir über Beispiele der Gesichtserkennung wie beispielsweise am Berliner Südkreuz und stellen uns die Frage: Warum sind die meisten Sprachassistenten Assistentinnen? Schreibt uns eure Vermutungen gerne bevor ihr die Folge hört per Instagram oder Twitter.
Hört gerne in unsere Folge rein uns hinterlasst uns eure Meinung auf Twitter oder Instagram!
Bei Fragen oder Anregungen schreibt uns gerne eine Mail an hallo@dasou.law und folgt uns auf Twitter/Instagram bei dasou_law.
Show-Notes
Unabhängiges Landeszentrum für Datenschutz Schleswig-Holstein: https://www.datenschutzzentrum.de/
White Paper zu feminist data protection: https://policyreview.info/pdf/policyreview-2021-4-1609.pdf
Unabhängiges Forschungsinstitut mit Alex Hanna und Timnit Gebru: https://www.bloomberg.com/news/articles/2022-02-02/google-loses-two-ethical-ai-staffers-to-timnit-gebru-s-institute
Portrait über Timnit Gebru: https://www.republik.ch/2022/01/26/serie-digital-warriors-folge-4-timnit-gebru
Zusammenfassung der Gesichtserkennungen am Südkreuz: https://www.ccc.de/de/updates/2018/debakel-am-suedkreuz
Beispiele zu DNA-Phantombildern: https://policyreview.info/articles/analysis/extended-dna-analyses-surveillance-technology-intersection-racism-and-sexism
Beispiele zu den Fällen in Sozialsystemen in Lateinamerika: https://policyreview.info/articles/analysis/artificial-intelligence-and-consent-feminist-anti-colonial-critique
Tweets zum GPT-3 Sprachmodell von Abeba Birhane: twitter.com/Abebab/status/1309137018404958215
Artikel zum GPT-3 Sprachmodell: https://time.com/6092078/artificial-intelligence-play/
Transkript
Karina Filusch:Hallo und herzlich willkommen beim DaSou-Podcast. Ich bin Karina Filusch, Datenschutzanwältin und externe Datenschutzbeauftragte. In jeder Folge sprechen wir mit einer Expertin oder einem Experten über Datensouveränität abgekürzt DaSou.
Aileen Weibeler:Ich bin Aileen Weibeler und angehende Juristin. Lasst uns auf jeden Fall ein Abo da. Darüber würden wir uns sehr, sehr freuen.
Karina Filusch:Heute reden wir über ein Thema, das uns alle mehr betrifft, als wir eigentlich denken. Und zwar geht es heute um Diskriminierung in der Datenverarbeitung. Wir haben dafür viele Beispiele herausgesucht, unter anderem: Was sagen Siri und Cortana auf die Frage: „Was sind Frauen?“. Aber das erfahrt ihr erst ganz am Ende.
Aileen Weibeler:Und dazu haben wir Dr. Felix Bieker eingeladen. Er ist juristischer Mitarbeiter im Projektreferat des Unabhängigen Landeszentrums in Schleswig-Holstein. Außerdem ist er Forscher und hat sogar ein Papier zum Thema Feminist Data Protection herausgegeben. Er ist zudem Mitglied im Forum Privatheit.
Karina Filusch:Lieber Felix, schön, dass du hier bist. Fangen wir doch beim Urschleim an: Was ist Diskriminierung in der Datenverarbeitung?
Dr. Felix Bieker:Vielen Dank für die Einladung. Ich freue mich auch sehr, hier etwas über dieses Thema zu erzählen. Also genau im Urschleim anfangen ist immer ganz gut. Wir wissen ja, dass es Datenverarbeitung überall gibt. Das heißt, sie betrifft uns eigentlich in allen möglichen Rollen, ob wir in der öffentlichen Verwaltung unterwegs sind oder draußen in der Welt rumlaufen. Es werden eigentlich immer Daten, jedenfalls von unseren Handys aufgezeichnet. Und ja, Diskriminierungen passieren halt, wenn Angehörige einer bestimmten Gruppe aufgrund ihrer Merkmale, nämlich der Angehörigkeit zu dieser Gruppe, nachteilig behandelt werden oder marginalisiert werden. Und das sind meist Gruppen, die ohnehin schon anvisiert sind. Das heißt, es trifft dann oft Frauen oder schwarze Menschen, People of Color, Geflüchtete, anders migrantisierte Menschen, queere Menschen oder arme Menschen sind oft betroffen von diesen Diskriminierungen. Das gilt generell in der Gesellschaft und setzt sich dann dementsprechend, weil Datenverarbeitung ja auch ein Abbild der Gesellschaft ist, dann bei der Datenverarbeitung fort.
Karina Filusch:Seit wann gibt es dieses Problem? Seitdem es Datenverarbeitung gibt? Oder ist es eher ein neues Problem, das jetzt erst aufgetaucht ist mit der fortschreitenden Digitalisierung?
Dr. Felix Bieker:Beides. Also ich denke, Diskriminierung ist einfach schon so alt wie Menschen in vielen Bereichen. Und das setzt sich dann fort in der Datenverarbeitung, weil Datenverarbeitung wird ja auch von Menschen gemacht. Deshalb ist die Datenverarbeitung schon immer auch von Diskriminierung betroffen. Aber andererseits gibt es auch in letzter Zeit erst ein zunehmendes Bewusstsein dafür. Es gibt jetzt mehr Menschen, die das angehen, die darüber sprechen, die ihre Erfahrungen teilen. Insbesondere viele Forscherinnen, die People of Color sind und jetzt noch dazu veröffentlichen, weil wir das jetzt untersucht haben. Und natürlich, weil die Datenverarbeitung immer größer wird und immer mehr Lebensbereiche erfasst. Also insofern denke ich, es ist beides richtig.
Karina Filusch:Und denkst du, es gibt schon vom Gesetzgeber genug Schutz, um gegen diese Diskriminierung vorzugehen? Wahrscheinlich ist da noch viel zu tun, sonst hätten wir es nicht.
Dr. Felix Bieker:Genau, ich glaube, es ist wirklich noch sehr viel zu tun. Und ich denke, es ist auch nicht nur etwas, was sich über das Recht ändern lässt, sondern es ist auch ein gesellschaftlicher Prozess, dass wir in unserer Gesellschaft weniger diskriminierend sein müssen. Aber natürlich sind es auch Sachen, die man regulieren kann. Und natürlich gibt es auch schon Regulierungen dazu. Es gibt ein Antidiskriminierungsgesetz, das bestimmte Merkmale schützt, wo sich dann Betroffene auch teilweise in bestimmten Kontexten ist es auch relativ eng, dieses Gesetz, dann wehren dagegen können. Und es gibt natürlich auch im Datenschutzrecht einen Schutz vor Diskriminierung. Also der Sinn des Datenschutzrechts, insbesondere auch der DSGVO, Datenschutzgrundverordnung der EU ist es, die Grundrechte von Menschen zu schützen. Das ist sehr weit. Das bezieht sich dann auch immer erst mal nur auf Datenverarbeitung. Aber das umfasst natürlich auch Diskriminierung. Das heißt, eigentlich müssten wir da schon viel weiter sein. Aber wie Du sagst, das ist noch viel zu tun.
Karina Filusch:Gucken wir uns doch unsere aktuelle Lage an, also den technischen Fortschritt. Ist der technische Fortschritt etwas, was Diskriminierung befeuert?
Dr. Felix Bieker:Also so, wie es im Moment läuft anscheinend ja schon. Ich denke, das muss gar nicht einhergehen miteinander, sondern man könnte das auch anders machen. Das tut im Moment aber so richtig noch niemand. Stattdessen ist es immer noch so, dass wenn sich Diskriminierungen bei Datenverarbeitung herausstellen – also, wenn man jetzt mal an die großen Beispiele denkt, bei Konzernen wie Facebook oder wie Google – dann erst mal das Problem in Abrede gestellt wird, so als gäbe es das gar nicht oder daraufhin versucht wird, das weg zu erklären. Es wird so getan, als wäre das ganz normal, dass es das gibt, und man müsste das jetzt verbessern und man sei auch dankbar für den Input dieser Menschen. Jetzt könnte man das endlich verbessern, aber das verschleiert natürlich, dass darin eine Datenverarbeitung eingesetzt wird, die in der Praxis auf die Menschen losgelassen wird, die überhaupt nicht erprobt ist oder die bestimmte Fälle gar nicht abgedeckt hat. Es ist auch interessant, über den Einsatz von künstlicher Intelligenz zu reden – da hattet ihr ja auch schon eine Folge zu diesem Podcast, die ich auch sehr gerne gehört habe. Künstliche Intelligenz kommt z.B. bei Sprachassistenten zum Einsatz. Dabei sind Sprachassistenten ja meistens Assistentinnen, also weiblich gelesene Maschinen, künstliche Intelligenzen, was auch merkwürdig ist. Vielleicht fällt es den Menschen leichter, Frauen Anweisungen zu geben. Aber wir sehen ja, dass in diesen Sprachausgaben dann auch oft Probleme auftreten, wenn schwarze Menschen sprechen, zum Beispiel im Englischen, mit bestimmten Dialekten, die dann nicht erkannt werden. Das liegt daran, dass diese künstlichen Intelligenzen eben nur das Standard-Englisch in den USA erkennen können oder auch in England. Wenn jetzt jemand mit einem karibischen Akzent redet, dann weiß Siri oder Alexa gar nicht, was los ist. Und das zeigt, dass das gar nicht ausreichend getestet wurde. Bei der Gesichtserkennung hatten wir schon vor vielen Jahren ein Problem. Joy Buolamwini und Timnit Gebru haben damals bei Google gearbeitet und die haben dann festgestellt, dass Gesichtserkennung bei künstlichen Intelligenzen schwarze Menschen oft nicht erkennt. Die Forscherin hat das so gemacht: Sie hat sich vor den Computer gesetzt und wollte dann ihr Gesicht erkannt haben. Aber das hat nicht funktioniert und dann hat sie ihre Kollegin genommen, die weiß ist und dann war es kein Problem. Die Gesichtserkennung fand innerhalb von Sekunden statt. Daran sehen wir, dass offensichtlich, niemand mal auf die Idee gekommen ist, bei der Entwicklung der Systeme eine Person of Colour hinzusetzen. Das ist das Problem, was zeigt, dass die großen Unternehmen, insbesondere die, die diese sehr komplizierte Techniken umsetzen können, sich anscheinend nicht genug Gedanken über deren Einsatz machen. Stattdessen geht nach dem Motto „move fast and break things“. Das haben wir ja mal von Facebook gehört. Wer sich schnell bewegt, kann vielleicht gar nicht alle Risiken erkennen und hat vielleicht auch gar kein Interesse daran, weil man mit diesen Techniken dann schon mal Geld verdienen kann. Das geht dann zulasten von anderen.
Karina Filusch:Was sind denn jetzt die tiefen Ursachen für diese Diskriminierung? Eigentlich ist das nur Technik, Technik sollte auf irgendwelchen Codes, auf Zahlen und auf elektrischen Strom usw. basieren. Das ist erst mal alles unmenschlich. Was ist dieser tiefe Grund für diese Diskriminierung?
Dr. Felix Bieker:Ja, das ist richtig. Wie du sagst, es ist alles Code. Aber es gibt diesen Mythos der neutralen Technik, die quasi nur das macht, was man ihr sagt. Das Problem ist, dass Menschen diesen Code und diese Technik beschreiben. Im Zweifelsfall sind es weiße Männer, die diesen Text schreiben und die diese Systeme bauen. Wir haben auch ein großes Repräsentationsproblem in der Tech-Industrie, nicht nur in den USA, sondern auch hierzulande. Die bauen da alle ihre Werte ein und das sind gar nicht nur bewusste Werte, sondern es können ja auch unbewusste Werte sein, was dann zu Diskriminierung führt. Diese Vorstellung von „Wir haben dann eine Entscheidung – die eine Entscheidungsinstanz, die alles weiß und alle Risiken abwägen kann“ ist so nicht richtig, denn die muss die Informationen irgendwo herbekommen und das ist immer von Menschen. Deren Mindset und deren Absichten spielen immer eine Rolle, sodass wir diese „neutrale“ Technik eigentlich gar nicht haben können.
Karina Filusch:Was ich mich jetzt so frage: Gibt es Unternehmen, die diese Diskriminierung vielleicht wollen? Die genau darauf setzen? Sonst hätte man das schon lange abgeschafft, oder?
Dr. Felix Bieker:Ja, ich glaube ehrlich gesagt, es geht da weniger um Intentionen. Natürlich kann ich mir nicht vorstellen, möchte ich mir nicht vorstellen, dass es Unternehmen gibt, die wirklich sagen, okay, wir wollen jetzt gegen schwarze Menschen zum Beispiel vorgehen oder wir hassen queere Personen und wollen sie diskriminieren. Ich denke, es ist oft eine Mischung aus Ignoranz, dass man das Problem gar nicht sieht, weil man keine queeren Personen kennt oder keine People of Colour im Team sind, die sich miteinbringen und die sich dann einfach mal vor die Gesichtserkennung setzen. Letztlich führt dann diese Ignoranz und dieses Nicht-Sehen und vielleicht auch Nicht-Sehen-Wollen dazu. Das denke ich, gibt es dann auch noch so. Das würde Sachen verzögern, dann wäre man nicht so schnell, dann müsste man vorher noch mit den Leuten reden, die das betrifft. Das kostet Zeit und natürlich auch Geld, dass man nicht bereit ist zu zahlen, sondern man rollt das so raus, setzt es in die Welt hinein und dann sagt man so, oh ja, na ja, wir sind nicht perfekt, aber mit eurem Feedback werden wir das natürlich verbessern. Man lässt die Leute für sich arbeiten, aber kostenlos. Das macht man vielleicht mal und in anderen Bereichen, wo es dann mit dem eigenen Geschäftsmodell nicht so funktioniert oder man merkt, okay, das kostet uns jetzt so viel Zeit und Ressourcen, lässt man es halt und schweigt sowas tot. Ich denke, die Intention dahinter ist egal, weil das was bei den davon betroffenen Personen ankommt, viel wichtiger ist. Die Frage, ob Mark Zuckerberg Menschen diskriminieren will, ist vollkommen egal. Die Frage ist: Diskriminiert er Menschen? Das tut Facebook und das ist problematisch. Da müssen wir ansetzen.
Karina Filusch:Hast du vielleicht Beispiele dafür, wo diese Diskriminierung schiefgelaufen ist, wo Menschen wirklich tiefgreifende Schwierigkeiten danach hatten, weil z.B. Sachen über sie preisgegeben wurden oder sie aufgrund der Technologie keinen Zugang bekommen hatten? Fällt dir da ein Beispiel ein?
Dr. Felix Bieker:Ja, da gibt es jede Menge Beispiele – leider. Das ist das Traurige daran. Der Einsatz von künstlicher Intelligenz, der passiert nicht nur in Unternehmen, sondern inzwischen auch immer mehr in der öffentlichen Verwaltung. Das hat dann das Motto, diese Technik gibt es jetzt, wahrscheinlich sollten wir die dann einsetzen. Da gibt es dann zum Beispiel Gesichtserkennung. Also man hat ein Video-Überwachungssystem und das erkennt dann die Gesichter von bestimmten oder von allen Personen und gleicht das ab mit einer Datenbank. Das wird in Deutschland schon eingesetzt. Da gab es mal ein Pilotprojekt am Berliner Südkreuz. Das wurde auch hier in Hamburg bei G7 eingesetzt, um da bestimmte Leute nachträglich zu identifizieren. Das in Berlin war live. Und das Problem bei der Gesichtserkennung ist eben, wie ich vorhin schon kurz angesprochen hatte, zum Beispiel, dass da schwarze Menschen, People of Color nicht gut erkannt werden. Also die haben da keine gute Trefferquote. Das heißt dann, wenn es zum Beispiel eine polizeiliche Videoüberwachung ist, dass dann eben öfter mal eine schwarze Person angehalten wird, weil das vielleicht mit dem Foto, was man vorliegen hat, was abgeglichen wird, überhaupt nicht übereinstimmt. Aber die Technologie ist einfach nicht vernünftig trainiert, um das zu erkennen, sodass dann häufiger Polizeikontrollen ausgesetzt werden. Es gibt auch jenseits von KI noch Probleme. Also zum Beispiel gibt es in der StPO Deutschland seit kurzem die molekular-genetische Untersuchung. Das heißt, man nimmt DNA-Spuren von Verdächtigen und will dann anhand dieser DNA-Daten die Abstammung und das Geschlecht einer Person bestimmen und damit dann so was zeichnen wie ein Phantombild. Das wird als DNA-Phantombild bezeichnet. Diese Bezeichnung ist komplett irreführend. Also das sieht dann nicht plötzlich so wie die Person in echt aus, sondern das sind eben Ableitungen aus dem genetischen Code. Da sieht man vieles nicht. Menschen mit Migrationshintergrund oder migrantisierte Personen sind da vielleicht ganz anders von betroffen. Es gab in Deutschland einen Fall, mit diesem Phantom von Heidelberg. Es war eine große Sache, da gab es immer wieder eine Person, die in allen möglichen Untersuchungen dann als Verdächtiger auftauchte, bis man dann festgestellt hat, das war eine Laborangestellte in einem Heidelberger Labor. Die hat diese Proben alle irgendwie kontaminiert hat mit eigener DNA und das ist natürlich dann sozusagen einfach Pech. Aber was zum Beispiel auch der Zentralrat der Sinti und Roma in Deutschland kritisiert hat, ist das oft bei DNA-Phantombildern dann davon ausgegangen wird, dass die Menschen aus Osteuropa etc. kommen, was aber oft einfach nicht zutreffend ist, sondern das sind einfach irgendwelche DNA-Reste sozusagen, die da enthalten sind. Ich meine mein Nachname ist Bieker, das ist jetzt auch nicht Müller oder Meier. Das ist jetzt auch nicht sehr deutsch. Das ist auch irgendwas, was anscheinend aus einem osteuropäischen Land kam und wer weiß, was man so dann in meiner DNA findet. Ich bin sehr weiß und da könnte dieses Phantombild dann ja auf jemand anderes hinweisen. Das ist natürlich ein sehr heftiger Eingriff, weil jedes Mal, wenn sowas in der Medienberichterstattung aufgegriffen wird, entsteht natürlich ein ganz anderes Bild von Kriminalität, was auch stigmatisiert. Deshalb hat der Zentralrat der Sinti und Roma dies kritisiert. Aber das gibt es nicht nur hier in Deutschland, sondern das gibt es weltweit. Wir haben mit einer Forscherin und einem Forscher aus Lateinamerika zusammengearbeitet und die beobachten dort, dass Sozialhilfe-Programme immer mehr digitalisiert werden, was ja auch schön ist. Das macht das ganze leichter, zugänglicher ist die Hoffnung und ermöglicht aber auch eine ganz andere Form von Überwachung, letztlich also was machen die Leute mit ihrer Zeit? Was haben die für Telefone? Da kann man viel mehr kontrollieren. Diese Datenverarbeitungen passieren dann aufgrund einer Einwilligung. Also ich stehe dann vor der Frage, ist das für mich okay, diese App zu benutzen, die mich überwacht, um meine Sozialhilfe zu erhalten, die ich zum Überleben brauche? Oder mache ich es nicht? Und wir wissen ja, eigentlich ist die Einwilligung ja geprägt von Freiwilligkeit. Wenn ich diese Wahl habe, dann besteht natürlich überhaupt keine Freiwilligkeit mehr, sodass diese Einwilligung letztlich dazu führt, dass deren Rechte ausgehöhlt werden.
Karina Filusch:Ich möchte noch ein ganz, ganz wichtiges Thema ansprechen, über das Du geforscht hast, und zwar über Feminist Data Protection. Vielleicht können wir darüber sprechen, was das ist und warum das so wichtig ist, dass es so etwas gibt. Ich habe davor nämlich davon noch nicht gehört, habe das Editorial von dir und deinen Kolleginnen dazu gelesen und war hellauf begeistert.
Dr. Felix Bieker:Ja, wir waren in einer sehr schönen Lage, da eine Forschungsreihe mit verschiedenen Forscherinnen weltweit zu machen. Das ging erst über einen Workshop, den wir vor einigen Jahren in Berlin durchgeführt haben und ist jetzt im Sonderheft von der wissenschaftlichen Zeitung mit einzelnen Artikeln zu Problemfeldern gemündet. Wir haben dann als die Herausgeber*innen mit einem ganz großartigen Team unsere eigenen Ideen sozusagen geprägt. Wir hatten die Überlegung von: ja, wie kann man den Datenschutz erweitern, vielleicht das Blickfeld etwas erweitern und eben auf bestehende feministische Ansätze da schon für fruchtbar machen. Denn natürlich, wenn wir über Diskriminierung reden, das ist ja ein Feld, das jetzt schon lange erforscht wird, auch gerade von einem feministischen Diskurs. Feministischer Diskurs meint nicht nur, es geht irgendwie um Frauenrechte, sondern man redet hier inzwischen eigentlich von einem intersektionalen Feminismus. Das heißt, es ist den Menschen bewusst geworden, dass Menschen, die mehreren marginalisierten Gruppen angehören, insbesondere Frauen, dann oft von Mehrfachdiskriminierung betroffen sind. Also als Frau, wenn man lesbisch ist, oder als Frau, wenn man Person of Color ist, als Frau, wenn man arm ist oder wenn alle diese Faktoren zusammenkommen, dann ist man in besonderem Maße Diskriminierung ausgesetzt und hat dafür dann eben auch schon Antworten entwickelt. Es gab in diesem Diskurs bisher immer eine Auseinandersetzung mit Privatheit, also auf der wissenschaftlichen Ebene und wir wollten mal gucken: Wie kann man das denn im Datenschutz umsetzen? Wie kann man dann vielleicht gucken, dass wir dort dann Diskriminierung, die da ja auch angesprochen sind, besser berücksichtigen können? Und ich denke, ein wichtiger Weg, das zu tun, ist eben, die Stimmen von Angehörigen marginalisierter Gruppen etwas zu pushen, also denen ein Forum zu geben, wo sie berichten können über ihre Forschungen, die dann oft auch nicht wahrgenommen wird, leider. Und auch deren Problemlösung. Denn wenn ich als Person von einem Problem betroffen bin, dann habe ich ja meistens auch eine ziemlich gute Idee, wie man das abstellen könnte. Da haben wir leider noch nicht so eine Kultur davon, uns das anzuhören und das ernst zu nehmen und dann mit den Betroffenen umzusetzen. Ich denke aber, das ist genau der Weg, wie man da zu Verbesserungen kommen könnte.
Karina Filusch:Was denkst du, ist die Zukunft in diesem Feminist Data Protection Bereich? Es ist ein sehr frischer neuer Begriff, der ist noch nicht gesetzt, haben wir im Vorgespräch festgestellt. Ihr seid quasi die Erfinder*innen dieses tollen Begriffs. Denkst du, wir werden diesen Rechtsbereich vielleicht oder diesen Forschungsbereich bald nicht mehr brauchen, weil das Problem sich schnell aufgelöst hat? Oder wie wird die Zukunft eher aussehen und die Problemlösung aussehen?
Dr. Felix Bieker:Also das ist eine ganz große Frage. Ich muss aber auch nochmal sagen, wir sind gar nicht so die allerersten. Wir haben jetzt diesen Begriff genommen. Es gibt aber schon viele Forscherinnen, die schon seit vielen Jahren in diesem Bereich forschen und sich angucken, was für negative Auswirkungen hat Datenverarbeitung auf Menschen generell? Ich denke aber, es ist noch ein neues Subfeld, vielleicht ein Unterbereich, in dem man wahrscheinlich noch sehr lange forschen muss, weil ich denke, dass wir noch sehr in diesen Strukturen verhaftet sind, die eben gegen marginalisierte Gruppen wirken, die nicht bewusst in Gesetze etc. eingebaut werden, aber wo es Strukturen diesen Gruppen schwer macht, ihre Rechte durchzusetzen. Das ist auch so ein Problem im Rechtsbereich, dass man immer seine Rechte selbst durchsetzen muss. Ich als Einzelperson muss dann eine Verletzung geltend machen. Das kostet viele Ressourcen, Zeit vor allen Dingen und ja, auch im Zweifelsfall Trauma – also wenn ich schon diskriminiert werde, muss ich das dann noch mal öffentlich machen. Das fühlt sich selten toll an und natürlich brauche ich dann auch Geld (also wenn wir über gerichtliche Verfahren und sowas reden). Das ist ein großes Problem und das Individuum steht immer ganz allein da. Es gibt auch Ansätze zu sagen, okay, das sind ja auch Gruppen, die sich organisieren können, die sich wehren könnten. Gemeinsam in der Gruppe ist man auch stärker. Ich denke, das ist etwas, was wir zum Beispiel im Datenschutzrecht noch deutlich ausbauen müssten, sodass es für die Betroffenen auch möglich ist, sich vertreten zu lassen. Das gibt es jetzt schon mit der DSGVO, aber auch um zu erleichtern, Marginalisierung nachzuweisen. Da ist man im Moment immer sehr auf das erkennende Gericht angewiesen, also wie beurteilen das die Richter*innen, die dem vielleicht gar nicht so zugeneigt sind und vielleicht auch diese Form von Datenverarbeitung gar nicht kennen? Das ist folglich ein Problem und da kann man wirklich noch viel zum einen im Recht selbst ändern, aber auch in einem wissenschaftlichen Diskurs noch weiter forschen, wie man das besser in die Gesetze einbauen kann, denke ich. Ich befürchte, das bleibt uns noch viele Jahre erhalten, aber ich denke, dazu kann man auch noch viel Forschung betreiben.
Karina Filusch:Das finde ich eine gute Idee, das über den Weg der Regulierung zu machen, weil die Einzelperson, wie du es beschrieben hast, einfach aus verschiedenen Gründen nicht genug Macht gegen diese großen Monopole, die ihr gegenüberstehen, hat. Wäre denn auf diese Produkte, die so diskriminierend sind, zu verzichten? Wäre das eventuell auch noch ein Weg, einfach keine Siri kaufen und sich keine Alexa im Wohnzimmer aufzustellen? Wie gehst du denn damit persönlich um?
Dr. Felix Bieker:Also Sprachassistent*innen z.B. benutze ich nicht. Das habe ich bei mir ausgeschaltet, weil ich das einfach zu gruselig finde. Mir vorzustellen, dass meine gesamten Unterhaltungen irgendwo auf Servern liegen, die ja wahrscheinlich auch noch in den USA sind und da dann auch im Zugriff von verschiedenen Geheimdiensten etc. sind und natürlich auch von den Unternehmen monetarisiert werden. Ich finde sie selbst nicht gut, aber ich denke trotzdem, das es vollkommen okay ist, wenn man sie benutzen möchte. Es gibt – immer zu Unrecht- wie ich finde, diesen Fokus auf das Individuum und wie man sich verhält und was man dann sein lassen sollte. Ich denke, das kann jede Person für sich selbst entscheiden. Man muss halt sehen, es gibt ja kein richtiges oder falsches Leben. Wenn diese Technik überall verfügbar ist und mir das mein Leben leichter macht, ist das eine riesige Erleichterung. So ist es z.B. für Menschen, die nicht gut sehen können oder blind sind, eine große Erleichterung, dass sie jetzt solche Sprachassistenten verfügbar haben. Natürlich ist schlecht daran, dass so was dann für personalisierte Werbung etc. genutzt wird. Das heißt, müsste die Technik noch besser gestalten. Solange das aber noch nicht verfügbar ist, hat man immer nur diese Wahl zwischen „friss oder stirb“. Das Problem wird nicht weggehen, indem ich jetzt darauf verzichte, die Technik zu nutzen, sondern ich denke, wir müssen einfach über die Regulierung gehen, dem Unternehmen da auch mehr Vorschriften machen und sie dann auch effektiver durchsetzen, damit diese Konzerne dann nicht mehr so eine Monopolmacht haben. Es soll vernünftige Alternativen geben, die die Leute nutzen können. Daher denke ich, wird sich das auch schnell ändern, wenn die Leute eine Auswahl haben zwischen, möchte ich diese Dienste von irgendeinem großen amerikanischen Konzern nutzen oder nehme ich vielleicht etwas datenschutzfreundliches, wo meine Rechte besser umgesetzt werden und was dann vielleicht auch gar nicht diskriminiert, weil es vernünftig getestet wurde etc.
Karina Filusch:Was ist für dich persönlich Datensouveränität, also DaSou?
.
Dr. Felix Bieker:Für mich ist Datensouveränität die Selbstbestimmung für das Individuum, die ich sehr wichtig finde, gerade auch in diesen Datenverarbeitungen und gerade auch vor dem Hintergrund von diesen Monopolen, über die wir gesprochen haben. Also, dass ich die Möglichkeit habe, auch zu sagen: Nein, das möchte ich nicht. Für mich ist genau diese Selbstbestimmung ein wichtiger Teil, auch vom Datenschutz. Ich finde aber, auf der anderen Seite ist dann auch so was wie System-Datenschutz wichtig, der sich mit den größeren Strukturen auseinandersetzt. Also der, der sagt es muss einfach funktionieren, ohne dass sich jemand Gedanken darüber macht. Eigentlich darf mein Sprachassistent mich nicht diskriminieren, egal welcher Gruppe ich angehöre. Eigentlich muss dieser Anbieter das Ding vernünftig testen, bevor es auf den Markt kommt. Ich denke an diese beiden Aspekte: zum einen Selbstbestimmung und zum anderen ein System-Datenschutz, der dafür sorgt, dass das Ding funktioniert. Ähnlich wie ein PKW, in den ich mich setze – den muss ich nicht verstehen. Der Airbag zündet in einem Unfall. So muss es auch in der Datenverarbeitung sein.
Karina Filusch:Das ist noch mal ein sehr schönes Bild am Ende. Vielen lieben Dank, dass wir darüber reden konnten. Es war mir eine Freude, dass du dir so viel Zeit genommen hast.
Dr. Felix Bieker:Mir auch. Vielen Dank!
Aileen Weibeler:Das hat uns auf jeden Fall gezeigt, dass Technik überhaupt nicht neutral ist. Sie wird von Menschen gemacht und ist auf jeden Fall fehleranfällig, gerade für marginalisierte Personen, wie er sie nennt. Das bezieht sich auf die finanziellen Mittel, die Hautfarbe, Geschlecht und Sexualität. Besonders problematisch wird es dann im Alltag, wenn es darum geht, Sozialgelder zu beantragen oder zum Beispiel im Ausland, wenn es um Fotos für den Personalausweis in Deutschland geht. Problematisch sind auch die damaligen Versuche der Gesichtserkennung am Südkreuz, die nicht so gut gelaufen sind.
Karina Filusch:Jetzt wollen wir uns mal angucken, was Siri und Cortana auf die Frage: „Was sind Frauen?“ antworten. Felix hat uns nach dem Gespräch noch verraten, dass das bei Siri mittlerweile nachgebessert wurde. Er hat uns auch erklärt, was Cortana eigentlich bedeutet. Wusstet ihr, dass es eine sexualisierte Frauengestalt aus einem Game ist? Und so eine Figur nimmt Microsoft als Namenspatronin für ihre Sprachassistenz? Das hat mich doch ganz schön umgehauen. Gucken wir uns mal an, was die beiden zu diesem Thema zu sagen haben.
Aileen Weibeler:Hey Siri, was sind Frauen?
Siri:Frauenrechte sind Menschenrechte. Die Gleichberechtigung von Mann und Frau ist in der Bundesrepublik Deutschland seit 1949 im Grundgesetz unter Artikel 3 Absatz 2 verankert. Möchtest du mehr hören?
Karina Filusch:An dieser Stelle nicht, denn wir wollen noch wissen, was Cortana dazu sagt. Cortana, was sind Frauen?
Cortana:Tut mir leid. Darauf habe ich keine Antwort.
Aileen Weibeler:Wir hoffen sehr, dass euch die Folge gefallen hat. Hört doch beim nächsten Mal wieder rein, wenn wir über DaSou sprechen. Wenn ihr eine Frage zu DaSou habt, schickt uns gerne eine Mail an hallo@dasou.law oder eine Nachricht auf Twitter oder Instagram.
Karina Filusch:Danke fürs Zuhören. Bis zum nächsten Mal.
Aileen Weibeler:Bis bald.
Karina Filusch:DaSou ist eine Produktion der Kanzlei Filusch. Mehr Infos findet ihr auf unserer Webseite. Das. Die Redaktion besteht aus Anja Lindenau, Aileen Weibeler und Karina Filusch. Der Jingle wurde komponiert von Mauli. Die Idee zu DaSou hatte Axel Jürs. Das Cover hat Hélène Baum erstellt. Beraten wurden wir von Susan Stone. Editiert wurde der Podcast von Christoph Hinners.