*das ist „Binärisch“ und bedeutet:.. 31“
Die Maschine als Werkzeug des Menschen – oder künftig vielleicht bald andersherum?
Heute sprechen wir mit Paul Nemitz, Chefberater bei der EU-Kommission, über sein neues Buch „Prinzip Mensch – Macht, Freiheit und Demokratie im Zeitalter der Künstlichen Intelligenz“. Wir fragen ihn, wer in Zukunft die Entscheidungen treffen wird: Wir Menschen oder die Künstliche Intelligenz? Auch klärt er uns über die überwältigende Macht der US-amerikanischen Konzerne aus dem Silicon Valley auf. Wusstest Du, dass Google der größte Sammler von Gesundheitsdaten weltweit ist? Inwiefern diese Unternehmen unsere Datensouveränität und Demokratie heute schon gefährden könnten, lernst du in der neuen Folge. Letztlich bleibt die Frage: Brauchen wir neue Gesetze für die KI oder reicht das, was wir bereits haben? Das alles und noch mehr besprechen wir in der dieser DaSou-Folge rund um das Thema „Künstliche Intelligenz“.
Hört gerne in unsere Folge rein und hinterlasst uns eure Meinung auf unseren Social-Media-Kanälen. Bei Fragen oder Anregungen schreibt uns auch gerne eine Mail an hallo@dasou.law und abonniert uns sowohl bei eurer Podcast-App als auch auf Social Media.
Das Buch von Paul Nemitz „Prinzip Mensch – Macht, Freiheit und Demokratie im Zeitalter der Künstlichen Intelligenz“: https://dietz-verlag.de/isbn/9783801205652/Prinzip-Mensch-Macht-Freiheit-und-Demokratie-im-Zeitalter-der-Kuenstlichen-Intelligenz-Paul-Nemitz-Matthias-Pfeffer
Paul Nemitz bei LinkedIn: https://www.linkedin.com/in/paulnemitz
Transkript
Künstliche Intelligenz – wann übernimmt sie die Macht?
DaSou-Podcast-Folge mit Paul Nemitz
Karina Filusch: Hallo und herzlich Willkommen zum DaSou-Podcast. Mein Name ist Karina Filusch. Ich bin Datenschutz Anwältin, und einmal im Monat spreche ich mit einer Expertin oder einem Experten über das Thema Datensouveränität, abgekürzt DaSou. Heute spreche ich mit Paul Nemitz. Er ist Chefberater der europäischen Kommission im Bereich Rechtspolitik bei der GD Justiz und Verbraucher. Er war 2012 bis 2017 Direktor für Grundrechte und Bürgerrechte in der Generaldirektion für Justiz und Verbraucher und leitete als Direktor die Reform der Datenschutz Gesetzgebung in der EU und auch die Verhandlungen der EU zum EU-US-Privacy Shield und die Verhandlungen mit großen US-amerikanischen Unternehmen über den EU Verhaltenskodex gegen Aufstachelung zur Gewalt und Hassrede im Internet. Er ist studierter Rechtswissenschaftler. Herr Nemitz, heute wollen wir über Ihr Buch sprechen: „Prinzip Mensch – Macht, Freiheit und Demokratie im Zeitalter der KI“. Dieses Buch haben Sie zusammen mit Matthias Pfeffer geschrieben. Wie würden Sie Ihr Buch beschreiben? Welchem Genre gehört es an?
Paul Nemitz: Das ist ein Sachbuch. Wir haben versucht aufzuklären, aber auch zu erläutern, wie eine Kritik der technologischen Macht aussehen kann und was wir heute tun müssen, als Bürger*innen und in der Politik, um Grundrechte und Demokratie auch in Zeiten der künstlichen Intelligenz den Platz zu geben, den sie in unserer Gesellschaft haben müssen.
Karina Filusch: Ich sag auch mal, wie ich das Buch empfunden habe, als Leserin also. Zunächst einmal haben sie mich sehr viele Nächte gekostet. Ich konnte nicht schlafen gehen, weil ich dieses Buch lesen wollte. Da war eine spannende Überschrift nach der anderen. Vielleicht kommen wir auch zu meiner Lieblingsüberschrift gleich im Anschluss, bei den nächsten Fragen oder im Laufe des Gesprächs. Ich habe das Buch als sehr vielfältig empfunden. Also ich hätte jetzt vermutet, dass es so ein bisschen in die Richtung Science Fiction geht. Ich liebe Science Fiction. Es gab natürlich auch Blicke in die Zukunft in Ihrem Buch, aber es gab auch einen Blick in die Vergangenheit. Die Historie haben Sie immer mit aufgenommen, also wie es dazu kam, und das hat für mich als Leserin dazu beigetragen, dass ich das Thema KI viel, viel besser verstanden habe nach der Lektüre Ihres Buches. Es ist auch soziologisch; es ist auch philosophisch; es enthält auch ethische Argumente, sowie auch juristische Argumente. Sie beleuchten im Grunde jeden Aspekt unter ganz, ganz, ganz vielen Hintergründen, und das aber nicht in einer wissenschaftlichen Sprache, sondern es liest sich einfach sehr, sehr, sehr angenehm. Es ist super informativ. Ich habe sehr, sehr, sehr gerne gelesen – also ich kann nur empfehlen, das Buch zu lesen. In Ihrem Buch geht es nämlich um Freiheit und Demokratie, das haben Sie gerade schon gesagt, im Zeitalter von digitaler Technik und KI. Sie sprechen davon, dass es eine massive Asymmetrie gibt, von Wissen und Macht im Verhältnis von Mensch und Maschine. Können sie uns das näher erläutern, wie es dazu gekommen ist und was es genau ist?
Paul Nemitz: Die These unseres Buches ist, und das versuchen wir auch zu belegen, dass es noch nie so eine Konzentration von Machtelementen – technischen Machtelementen, aber auch finanziellen Machtelementen – bei Privaten gegeben hat, wie derzeit bei den großen Internetfirmen, also Google, Facebook, Amazon, Microsoft und Apple. Wir müssen uns verschiedene Machtelemente angucken. Acht Quellen der Macht des technologisch wirtschaftlichen Komplexes haben wir identifiziert. Da geht es im Grunde darum, dass diese Firmen, und das gab es auch früher schon, sehr reich sind. Das sind alles Firmen, die in den Top-Ten der amerikanischen Börse sind. Die können sehr vieles mit Geld machen. Das ist immer schon, muss man einfach sehen, in der Politik ein Machtfaktor. Wenn man Geld hat, kann man mit Geld vieles tun, was die Politik bewegt. Dann aber auch die Datenprofile über jeden einzelnen von uns, die diese Firmen erheben, gibt ihnen macht, sowohl über eine Gesellschaft, beim Verstehen der Gesellschaft, aber vielleicht auch beim Manipulieren der Gesellschaft. Wenn man über jeden Bürger Datenprofile hat von hunderten von Parametern, ist das eine gewaltige gesellschaftliche Macht, aber vor allem gibt es den Firmen auch Macht über den Einzelnen. Das heißt, die einzelnen Menschen können verstanden werden; sie können auch manipuliert werden in ihrem Verhalten. Natürlich geht es in erster Linie wieder um das Kaufverhalten. Die Daten werden benutzt für gezielte Werbung. Aber es kann auch um das politische Verhalten gehen: Zum Beispiel um das Wahlverhalten. Das haben wir auch schon gesehen, dass diese Daten für diese Zwecke missbraucht wurden. Dann aber kommt hinzu, die Netzwerkmacht. Diese Unternehmen kontrollieren nicht nur ein Großteil der Hardware des Internets, also, um es ganz konkret zu machen, die transatlantischen Kabel, über die viele Daten laufen. Diese gehören zu einem Großteil diesen Firmen. Aber sie kontrollieren auch die Infrastruktur der Kommunikation, also die Softwaresysteme – auch Systeme der künstlichen Intelligenz, über die wir heute kommunizieren und auch unsere politischen Informationen erhalten. Also vor allem die Suchmaschinen; jetzt natürlich auch ChatGPT; diese Systeme, mit denen Sprache benutzt werden kann, um sich Texte zu erstellen, die auch Informationen erhalten – vielleicht werden die eines Tages die Suchmaschinen ablösen; aber auch die Sozialen Netzwerke; und auch die bilateralen Kommunikationswerke. Denken Sie an WhatsApp zum Beispiel. Diese Firmen waren schon sehr mächtig vor der Verbreitung dieser Welle der künstlichen Intelligenz. Jetzt kommt die künstliche Intelligenz dazu, also zu diesen ganzen bereits vorher bei ihnen bestehenden Machtelementen. Microsoft hat OpenAI quasi gekauft mit über 10 Milliarden Euro. Da müssen wir einfach sehen, dass diese großen Firmen Systemintegrierer sind. Das heißt, an KI wird an vielen Orten der Welt geforscht. Da gibt es viele Startups, viele Professoren, viele Lehrstühle – aber diejenigen, die die ganzen Erfindungen und Entdeckungen zusammenführen können zu funktionierenden Systemen, das sind diese großen amerikanischen Konzerne. Sie sind also einerseits Systemintegratoren, aber andererseits auch diejenigen, die die Datenmacht haben. Die haben die Daten, mit denen KI trainiert werden kann. Da geht es zum Beispiel um die Daten, die aus Sprache entstehen. Also jetzt sehen wir, warum Google massenweise Bibliotheken abgefilmt hat. Jetzt sehen wir auch, was mit persönlichen Daten gemacht werden kann. Das heißt also, die Datenmacht, die schon vorher bestand, wird jetzt auf eine neue Art und Weise genutzt, die die Macht dieser Konzerne noch weiter erhöht. Denn: die Auswertung der Daten dann wiederum durch KI zum Zwecke der gezielten Werbung, zum Zwecke der Manipulation wird natürlich dann auch viel effizienter erfolgt.
Karina Filusch: Google Books ist natürlich sehr praktisch. Jetzt haben Sie die Hintergründe erläutert, was der ursprüngliche Plan dahinter war. Im Studium fand ich das immer total toll, dass es das gab.
Paul Nemitz: Ja, wir wissen ja gar nicht, was der ursprüngliche Plan war. Das ist gerade die These dieser Firmen gewesen: immer big data. Bedeutet: wir sammeln erst mal alles, und dann wird sich schon eine Nutzung ergeben, und wir werden schon entdecken, was wir damit machen können. Das sieht man jetzt hier auch, das ist in der Tat auch so. Aber bitte glauben Sie nicht, dass Google nur der größte Sammler von Inhalten der Literatur und aus Büchern ist. Google ist zum Beispiel auch inzwischen, und das wissen nur die Wenigsten, der größte Sammler von Gesundheitsdaten der Menschen weltweit.
Karina Filusch: Wie macht Google das?
Paul Nemitz: Das ist ganz einfach. Google hat zum Beispiel in Großbritannien DeepMind aufgekauft, und viele Menschen glauben, DeepMind wurde aufgekauft wegen der interessanten Entdeckungen in der Programmierung, in der künstlichen Intelligenz. Es gab hier, einige, sagen wir mal, kleinere Durchbrüche, aber ganz wesentlich war, dass DeepMind Zugang hatte zu allen Gesundheitsdaten durch vertragliche Regelung mit dem nationalen Gesundheitswesen in Großbritannien, so dass Google auf einen Schlag diese ganzen medizinischen Daten nutzen konnte. Und in vielen Mitgliedsstaaten der europäischen Union schließt Google mit einzelnen Krankenhäusern Verträge über gegenseitige Unterstützung. Die sehen dann so aus, dass ein Krankenhaus seine Daten liefert, und Google liefert auch irgendetwas aus seinem gewaltigen eigenen Datenschatz und vielleicht auch ein bisschen Verarbeitungskapazität, ein bisschen KI, und so kommt vieles zusammen.
Karina Filusch: In Ihrem Buch finde ich das auch sehr spannend. Sie zitieren zum Beispiel die AGBs oder die Nutzungshinweise zu bestimmten Produkten, die besonders brisant sind. Also wo dann zum Beispiel drinnen steht, bei kostenlosen Produkten, dass die Daten dann auch zu eigenen Zwecken verwendet werden können, wenn man eine kostenlose Cloud zum Beispiel verwendet. Das fand ich auch sehr spannend, dass Sie genau diese Passagen dann abgedruckt haben, ob man das mal nachlesen kann, was man dort eigentlich als Nutzerin tut mit seinen Daten.
Paul Nemitz: Absolut! Aber diese Firmen nutzen ja nicht nur die Daten der Nutzer, die ihre Systeme nutzen, sondern – das sehen wir ja zum Beispiel gerade in der Diskussion über copyright Nutzung, also Nutzung von Büchern, die einfach genutzt werden zum Training der KI. Da wird auch gar nicht gefragt, da wird auch nicht bezahlt. Und das geht so weit – das haben wir jetzt kürzlich gesehen in dem Prozess der New York Times gegen OpenAI und ChatGPT – dass mit Hilfe von ChatGPT es möglich ist, sogar hinter die Bezahlschranke von Zeitungen zu kommen. In dem Klage Schriftsatz der New York Times wurden Beispiele genannt. Sie geben also ein in ChatGPT: „was steht eigentlich in dem Artikel, der nur Tims vom 15 Februar über Donald Trump?“ Und dann kriegen sie eine Antwort von ChaGPT die viele Zitate aus diesem Artikel beinhaltet, und Ihnen im Grunde sagt, was die New York Times da geschrieben hat, ohne dass Sie für die New York Times bezahlen müssen und ohne das ChatGPT dafür bezahlt. Das heißt, man kann in den Schriftsatz ganz einfach erkennen, dass knallhart und ruchlos unter dem Motto disruptive innovation – disruptive Innovation – wird einfach gegen die ganz grundlegenden Regeln des copyrights verstoßen. Das ist also nicht nur eine, sagen wir mal, technisch ökonomische Diskussion, die wir hier führen, sondern ohne die Professoren der Harvard University, der Harvard Business School, in ihrem Buch „Überwachungskapitalismus“ hat auch detailliert dokumentiert – davon haben wir auch in unserem Buch sehr profitiert – dass es in diesen Konzernen eine systematische Lügen-Kultur gibt. Es wird da regelmäßig das Recht wissentlich gebrochen. Es gibt kaum Firmen, gegen die so viele Entscheidungen, auch Gerichtsurteile über rechtswidriges Verhalten vorliegen wie gegen diese GAFAM, also diese Konzerne der Digitalwirtschaft.
Karina Filusch:Was steht hinter GAFAM?
Paul Nemitz: GAFAM – also: Google, Apple, Facebook, Amazon, Microsoft. Diese Kultur, verbunden mit der großen Macht, die sie haben, ist wirklich zunehmend ein Problem mit unseren Gesellschaften. Man würde eigentlich denken, dass Macht und Fähigkeit, gerade technologische Fähigkeit, die Firmen verpflichtet, auch mit diesem Können verantwortlich und rechtmäßig umzugehen, und leider herrscht aber in vielen dieser Firmen eine Hybris, dass sie glauben, sie können sich über Recht hinwegsetzen. Das ist auch Teil der Probleme für die Demokratie und für die Rechtsstaatlichkeit.
Karina Filusch:Wollte ich gerade fragen: wie beeinflusst das die Demokratie jetzt konkret?
Paul Nemitz: Naja, also, ich sag mal so: wenn bei dem Bürger der Eindruck entsteht, und das fördern diese Firmen ja gerade auch – nicht nur durch ihr rechtswidriges Verhalten, sondern auch durch zum Beispiel in den Anhörungen im amerikanischen Kongress, wo regelmäßig Mitglieder des amerikanischen Kongresses, also das amerikanische Parlament, also letztlich die Vertreter der Bürger, lächerlich gemacht werden durch die Vertreter dieser Firma. Man kennt die Anhörung von Mark Zuckerberg und vielen anderen, in denen es eigentlich immer darum ging zu zeigen: „ach Naja, die Parlaments Vertreter, die Politiker, die verstehen doch gar nicht, was wir machen; die haben ja keine Ahnung; können wir alles ignorieren, können wir nur drüber lachen.“ Und diese Grundhaltung im Silicon Valley und in diesen Firmen ist schon mal einfach vom Prinzip her in ihrer Wirkung fatal. Das ist übrigens eine ähnliche Art, mit der Autokraten und Rechtsradikale die Demokratie lächerlich gemacht haben. Das hat schon Hitler gemacht, dass er die Demokraten lächerlich gemacht hat. Wenn wir uns das genau angucken, geht es da nicht nur ums Lächerlich machen, sondern es geht auch darum, dass diese Firmen immer wieder behaupten, dass sie alle Probleme dieser Welt mit Technologie lösen können und wir eigentlich eine Demokratie gar nicht mehr brauchen. Oder: sie machen etwas ganz Zynisches – das haben wir bei OpeAI und ChatGPT gesehen – sie schreiben Texte, wobei Ilon Musk und Bill Gate mitgemacht haben, und in denen steht: die künstliche Intelligenz ist ein Versprechen wie die Atomkraft es war. Nämlich ein Versprechen ewiger Energie in der Atomkraft, alles wird wunderbar, eine saubere Energie. Aber: die KI hat auch ähnliche Risiken wie die Atomkraft. Das haben die geschrieben, und das haben die gesagt. Nur, was sie dann gemacht haben, war genau das Gegenteil von dem, was mit Atomkraft gemacht wurde. Sie haben erstmal ihren OpenAI und ChatGPT auf den Markt geworfen, unreguliert, um damit ihre Milliarden zu verdienen. Dann hinter kam sie an und sagen: „So, jetzt reguliert uns mal!“ In der Atomkraft war es genau anders. In den 50 er Jahren hat man zunächst ein Atomgesetz erlassen und die Sicherheitsanforderungen an die Atomkraft, die zivile Nutzung der Atomkraft, sehr genau definiert. Man hat auch auf internationaler Ebene zunächst mal eine internationale Atomenergiebehörde geschaffen mit weitgehenden Eingriffs- und Inspektionsrechten in allen Ländern, die diesen Vertrag unterschrieben haben. Erst dann hat man begonnen, die gefährliche Atomkraft zu Zwecken der Stromproduktion einzusetzen. Und ich sag mal, diesen Respekt vor den Menschen, vor der Sicherheit, vor der Demokratie, vor den Grundrechten, der fehlt diesen Firmen total. Es geht immer erst mal darum, Geld zu verdienen, so viel wie möglich. Erst dann hinterher macht man Gesten, wie wir das gesehen haben: Hinterher kam dann der alte Mann und sagte: „ja, reguliert uns doch, macht es doch!“ Das ist wirklich zynisch, nachdem die Milliarden erstmal schon verdient waren.
Karina Filusch: Ich möchte gleich an Ihre Ausführung zwei Fragen anschließen. Zunächst einmal, was genau ist KI? Das haben sie in ihrem Buch wundervoll erläutert und in den Kontext gesetzt. Und wir haben in Europa schon Gesetze, unter anderem die Datenschutzgrundverordnung, die DSGVO. Wie hilft diese KI zu regulieren?
Paul Nemitz: Also, um es mal einfach zu formulieren: KI besteht eigentlich aus einigen grundlegenden Elementen. Da ist ein Algorithmus, also ein mathematisches Programm, und dann wird dieses Programm angewendet auf Daten. Auf den Bestand an Daten von gestern, und lernt mit diesen Daten, um bestimmte Funktionen auszuführen. Man unterscheidet da die spezifischen oder besondere KI von der Theorie einer zukünftigen allgemeinen KI. Also die spezifische, besondere KI wird nur für ganz bestimmte Zwecke trainiert, zum Beispiel das selbstfahrende Auto oder die Suchmaschinen. Wohingegen man in der Wissenschaft versucht, eine allgemeine künstliche Intelligenz zu entwickeln, die in der Lage ist, sozusagen wie ein Kind alles zu lernen und auch das in einem Bereich Gelernte dann auf andere Bereiche zu übertragen. Das wäre dann eines Tages die allgemeine künstliche Intelligenz, die diesen Teil der menschlichen Intelligenz, die die sehr komplex ist. Je nachdem, welchen Wissenschaftler man da befragt, gibt es zwischen acht und elf verschiedene Formen menschlicher Intelligenz, also Gartner, ganz wichtig, hat ein Buch geschrieben: „Die acht Formen der menschlichen Intelligenz.“ Davon insgesamt ist die künstlichen Intelligenz , also das alles nachzuempfinden, weit entfernt, aber es gibt Forscher, die daran arbeiten, sozusagen diese allgemeine Intelligenz zu entwickeln, die von einem Bereich auf den anderen das Gelernt übertragen kann. Es geht also um Programme, die selbsttätig lernen können, wobei dieses Lernen dann auch wieder entweder autonom stattfindet oder überwacht ist. Überwachtes Lernen heißt eben, die Maschine lernt zwar, aber der Lernfortschritt wird regelmäßig kontrolliert und sozusagen nur freigegeben für die Weiterentwicklung des Programms nach Kontrolle durch Menschen. Und diese Lernfähigkeit, diese Änderungsfähigkeit, das ist eigentlich das, was einerseits der große mögliche Produktivitätsfortschritt ist durch KI, aber andererseits auch das, was Fragen stellt nach Verantwortung im Umgang mit diesen Programmen. Denn wenn diese Programme tatsächlich lernen, dann stellt sich natürlich die Frage, wer kontrolliert dieses Lernen? Wie können wir voraussehen, wohin dieses Lernen führt? Und sind wir sicher, dass die Maschine nicht Fähigkeiten lernt oder in eine Richtung lernt, die sehr, sehr schädlich sein kann.
Karina Filusch: Vor allem, womit werden diese KIs auch gefüttert? Nicht wahr? Weil das machen die Unternehmen natürlich auch nur mit bestimmten Daten, und dadurch kann das natürlich alles sehr einseitig werden, also was KI dann lernt.
Paul Nemitz: Ja, das ist natürlich ein Grundproblem, dass wir tendenziell durch diese Programme in eine sehr konservative Geisteshaltung hineingestoßen werden. Denn diese Programme lernen immer nur auf der Grundlage der Daten von gestern. Aber eine moderne Gesellschaft braucht technische Innovation und auch gesellschaftliche Innovationen. Das heißt, wir brauchen die Fähigkeit des Menschen, sich Dinge vorzustellen, die es noch gar nicht gibt. Die wesentlichen Innovationen in unserer Gesellschaft beruhen nicht auf den Daten von gestern, sondern sie beruhen darauf, dass sich Menschen etwas vorgestellt haben, was es noch nicht gibt, weil sie zum Beispiel unzufrieden sind mit dem Status quo und sagen: „das müssen wir alles ganz anders machen, und ich kann mir vorstellen, wir könnten es auch so machen.“ Das passiert in der Technik, und das passiert natürlich auch in vielen gesellschaftlichen Zusammenhängen: in der Politik, in der Verwaltung und so weiter. Diese Fähigkeit hat die KI gerade nicht. Das heißt, das Paradox ist, es handelt sich hier um eine moderne Technologie, die aber gerade das wesentliche Element des Fortschritts in unseren Gesellschaften verdeckt. Hier müssen wir sehr aufpassen, dass der Impetus, der entsteht – zum Beispiel auch aus der Unzufriedenheit menschlicher Routine. Also dass man sagt: „wir machen das immer gleich, und eigentlich machen wir es immer gleich falsch“ und das dazu führt, diese menschliche Routine, dass der Mensch irgendwann nach zehn Jahren, nachdem man immer alles gleich gemacht hat, dann sagt man auf einmal: „Moment mal, das können wir auch viel besser und anders machen“ und so entsteht Innovation und so entsteht Neues – dass uns das genommen wird, wenn alle Routinen übertragen werden auf Maschinen, die sie kritiklos und endlos ausführen. Wo bleibt dann der Impetus aus der Unzufriedenheit mit dem Status quo, der den Menschen dazu antreibt, die Dinge besser zu machen? Die Maschine wird diesen Impetus nicht haben.
Karina Filusch: Das freut mich, das heißt, wir Menschen werden noch eine ganze Weile gebraucht.
Paul Nemitz: Sicher werden wir gebraucht. Ich will Ihnen auch folgendes sagen: Diese sehr nach hinten gerichtete Ausrichtung der künstliche Intelligenz, immer mit den Daten von gestern, ist genau das, wo Vorurteile und Dinge, die in unserer Gesellschaft schieflaufen, perpetuiert werden. Aber was noch schlimmer ist für die Demokratie, stellen Sie sich mal vor, große Teile der öffentlichen Verwaltung: Sozialhilfe, Arbeitslosenhilfe. Harz IV, auch die Arbeitsvermittlung, die Bildung und so weiter, würden durch KI automatisiert. Dann denkt man zuerst, das ist eine wunderbare Sache. Aber wir leben in einer Demokratie, in der die Grundregel ist, dass der Weg zur Änderung, der Weg, die Dinge anders zu machen, frei sein muss. Es wird abgestimmt, es kommen neue Mehrheiten zustande, es kommt eine neue Regierung ins Amt, und die hat Pläne, all dies zu ändern, und die Bürger wollen das auch, weil sie diese neue Regierung gewählt haben. Da müssen wir die Frage stellen: Geht das denn eigentlich dann überhaupt noch? Heute werden viele Funktionen in der öffentlichen Verwaltung durch Menschen ausgeführt. Natürlich wissen wir, dass Beamte, die Menschen, die das meistens ausführen in der öffentlichen Verwaltung, auch widerständig sind – kann ich sagen, ich bin selbst auch politischer Beamter – aber man kann Menschen relativ einfach neues beibringen. Das ist in der Verwaltung ganz üblich, dass eine neue Regierung oder ein neuer Minister die Dinge anders sieht. Daran ist man gewöhnt in der öffentlichen Verwaltung. Dann werden ein paar Diskussionen geführt, es werden ein paar Trainingskurse gemacht, und dann läuft die Verwaltung in die andere Richtung. Und so muss das auch sein in der Demokratie.
Karina Filusch: Sie haben gerade die Verbindung KI zu Staat angesprochen. Darüber bin ich auch sehr dankbar. Wie nutzt der Staat KI? Ich erinnere mich an eine Podcastfolge, die wir vor einiger Zeit aufgenommen haben. Ich kann die vielleicht auch noch mal in den Shownotes verlinken. Da hatte die Gästin auch davon erzählt, dass es irgendwo in Südamerika ein Staat gab, der Sozialhilfe Bescheide durch KI hat bescheiden lassen. Das hatte natürlich schlimme Folgen für die Menschen, die kein Sozialgeld bekommen haben, weil die KI das so entschieden hat. Wie sieht das also aus mit der KI und dem Staat?
Paul Nemitz: Naja, ich sag mal so, die Begeisterung für KI in Staat und Wirtschaft ist jetzt groß. Da ist bestimmt auch vieles möglich an Effizienzen. Aber es geht darum, natürlich immer zu schauen, dass genau das, was Sie eben beschrieben haben, nicht eintritt und dass zumindest zwei Dinge nicht passieren: Erstens, durch die Technologisierung dürfen die Menschen in ihrem Verhältnis zum Staat nicht ihrer Rechte beschnitten werden. Da möchte ich ein Recht mal kurz erwähnen. Das ist sehr, sehr wichtig, nämlich: dass Entscheidungen des Staates, die in die Grundrechte eingreifen, zum Beispiel Steuerbescheide, die müssen begründet sein, und sie müssen anfechtbar sein vor Gericht. Sie müssen kontrolliert werden können. Wenn dort künstliche Intelligenz also eingesetzt werden kann, muss dieses System die Begründung für die Entscheidung, die es vorschlägt oder die es sogar selbst trifft, liefern. Künstliche Intelligenz, die nicht erklärt, wie sie zu den Ergebnissen gekommen ist, kann vom Staat in solchen Konstellationen nicht eingesetzt werden. Darauf müssen wir bestehen, denn wir haben ein Grundrecht darauf, dass alle staatlichen Entscheidungen, die in Grundrechte eingreifen, einer Begründung bedürfen, und diese Begründung muss so sein, dass ein Richter sie nachbilden kann. Das ist das erste. Das zweite Thema in der Demokratie ist: Demokratie bedeutet, der Weg zum Wandel muss offen sein. Das heißt, wir wählen, und es kann sein, dass hinterher die Politik ganz anders aussieht und dementsprechend auch die öffentliche Verwaltung, der Staat, völlig neu handeln muss. Gibt es andere Regeln, die Sozialhilfe, die Bildungspolitik, alles wird anders organisiert. Das ist das Wesen der Demokratie: Offenheit für Wandel, für Innovation, für Fortschritt, für Kreativität. Und da besteht das Problem, dass diese technologischen Systeme der KI sehr konservativ sind. Diese beinhalten nämlich nicht dieses Element der menschlichen Vorstellungskraft und der menschlichen Kritik. Das System führt die Dinge immer einfach aus, ohne das zu tun, was Menschen oft tun, nämlich irgendwann mal zu sagen: „Also eigentlich, was wir hier machen, ist nicht in Ordnung, wir müssten es eigentlich anders machen, und zwar folgendermaßen.“ Und was dann bei Menschen kommt, ist etwas, was noch gar nicht existiert. Das ist das, was aus der Vorstellungskraft des Menschen hervorgeht. Wir können uns Vorgänge vorstellen, wir können uns eine gesellschaftliche Konstellation vorstellen, wir können uns auch Regeln vorstellen, die es noch gar nicht gibt. Wir können deswegen innovativ handeln in Technik, in Wirtschaft, in Wissenschaft und auch in der Gesellschaft und der Politik. Das kann die KI nicht. Es ist auch sehr schwer, eine KI dann umzuprogrammieren. Das kann sehr, sehr teuer sein. Das heißt, wir müssen also bei der Einführung von künstlicher Intelligenz in der öffentlichen Verwaltung immer prüfen: was würde es kosten, diese künstliche Intelligenz völlig umzuprogrammieren, wenn wir eine neue Regierung haben, einen Politikwechsel, also wenn Demokratie zu diesem Wechsel führt – was ja sein soll. Das wollen wir ja, dass in der Demokratie auch mal eine andere Partei an die Macht kommt. Und dann müssen wir von Anfang an, bevor die künstliche Intelligenz eingeführt wird, eine Folgenabschätzung machen – eine Demokratie Folgenabschätzung – und vergleichen: was kostet der Wandel, wenn Menschen weiterhin tätig sind? Das heißt also Beamte, denen man sagen kann „ab heute macht ihr es anders.“ Und was kostet der Wandel in dem technischen, automatisierten System? Ich sage nur, sicher mag es Effizienzen geben durch die Einführung der künstlichen Intelligenz in vielen Bereichen des Staates, aber es gibt auch neue Kostenrisiken, und das ist vor allem das Kostenrisiko des Wandels in der Demokratie. Nämlich die Frage: was kostet es eigentlich dieses komplexe System, was zum Beispiel dann alle Arbeitsvermittlung macht, das alles umzuprogrammieren? Und da müssen wir aufpassen, dass wir nicht in eine Situation kommen, dass den demokratisch gewählten Ministern eines Tages gesagt wird: „Also, liebe Frau Ministerin, das kostet doch viel zu viel! Wir können das nicht alles ändern, also inhaltlich die Politik. Das mag zwar Ihr Parteiprogramm gewesen sein; das mag auch der Wille jetzt der Mehrheit des Parlamentes sein, aber kostet zu viel. In der letzten Legislaturperiode ist alles schon programmiert worden.“ Das geht nicht! Da müssen wir aufpassen, dass uns diese Technik – und ich weiß, dass das ein bisschen kontraintuitiv ist, weil man immer denkt, das sei ja super modern – dass sie uns nicht wirklich in vielerlei Hinsicht in eine konservative Struktur einfriert und eigentlich Reformen und Innovation gerade nicht mehr möglich machen.
Karina Filusch: Sie hatten jetzt gerade vom Wandel gesprochen. Was braucht es für neue Gesetze, oder haben wir schon alle Gesetze dafür? Ich denke jetzt vor allem an die DSGVO – die Datenschutzgrundverordnung. Reicht das?
Paul Nemitz: Na ja, wir haben natürlich ein Grundprinzip, dass alle Gesetze zunächst mal auch auf die KI anwendbar sind. Also ganz aktuell zum Beispiel die Diskussion über Copyright: Wie weit gehen eigentlich die Rechte der Autoren nach bestehenden Gesetzen zu verlangen, dass sie gefragt werden, ob ihre Werke genutzt werden können für die künstliche Intelligenz, Entwicklung und für das Training der künstlichen Intelligenz und dann auch entsprechend bezahlt werden. Da würde ich sagen, müssen wir jetzt mal die Antwort der Gerichte abwarten. Wir haben auch Gesetze des Verbraucherschutzes. Wir haben die Datenschutz Grundforderung, die vollständig auf künstliche Intelligenz dort anwendbar ist, wo künstliche Intelligenz persönliche Daten verarbeitet, was sehr oft der Fall ist und sein wird. Da gilt das Prinzip, zum Beispiel, dass die Menschen ein Recht darauf haben, dass ihre Daten gelöscht werden. Es stellt sich die Frage, ob auch – um ein kompliziertes Beispiel zu wählen – der Teil der künstlichen Intelligenz, der das Lernen aus diesen Daten enthält, gelöscht werden muss. Die Frage ist noch unbeantwortet. Aber ich würde zum Beispiel sagen, wenn persönliche Daten rechtswidrig benutzt wurden zum Training der künstlichen Intelligenz, dann muss das dazu führen, dass auch die künstliche Intelligenz selbst, das Programm, gelöscht werden muss. Es kann nicht sein, dass man sich erst rechtswidrig persönliche Daten unter Nagel reißt und dann ein Programm damit schafft und damit dann hinterher Geld verdient. Und wenn dann entdeckt wird, dass das alles rechtswidrig trainiert wurde, dass man dann sagt „na ja, eure Daten könnt ihr erlöschen, aber das Geld verdienen mit dem Programm, das können wir weitermachen.“ Das kann nicht richtig sein. Natürlich können auch die Datenschutzbehörden vollständige Einsicht in den Algorithmus fordern, und das sollten sie auch. Also die Behörden in Europa, die nach gegenwärtigem Recht die weitestgehenden Rechte haben in jeden Algorithmus, der persönliche Daten verarbeitet – und die meisten Programme der künftigen Ligen kommen nicht ohne persönliche Daten aus – sind die Datenschutzbehörden. Ich habe schon öfter, auch auf der Weltkonferenz der Datenschutzbehörden, zuletzt in Istanbul, die Datenschutzbehörden aufgefordert, von diesem Recht weitestgehend Gebrauch zu machen. Weil wir auch das Problem haben, dass viele staatliche Behörden, auch die Datenschutzbehörden, selbst gar nicht mehr verstehen, was eigentlich im Bereich der künstlichen Intelligenz alles läuft. Da kann ich nur sagen: da müsst ihr euch eben selbst kundig machen, indem ihr eure Inspektionsrechte, eure Zugangsrechte, die sehr weitgehend sind – eigentlich unbegrenzt – nutzt. Die Datenschutzbehörde kann sich da alles angucken und kann auch verlangen, dass ihr das sehr genau erklärt wird. Das heißt also, die Datenschutzbehörden müssen sich jetzt kundig machen über künstliche Intelligenz und ihre Rechte auch wahrnehmen und fordern, dass ihnen das sauber erklärt wird, was da passiert. Und dann haben wir als neues Gesetz die „Verordnung zur künstlichen Intelligenz,“ die jetzt gerade verabschiedet wurde, aber jetzt erst mal in die Bücher kommen muss. Also, der Deutsche Text liegt ja noch nicht vor im Amtsblatt, und dann gibt es eine Übergangsphase. Es dauert also noch etwas, bis dieses geltendes Recht wird. Diese Verordnung enthält als Rechtspflicht all das, was ein vernünftiger Ingenieur sowieso machen würde. Ja, das sind jetzt keine schwierigen neuen Rechtspflichten, aber jeder vernünftige Ingenieur würde zum Beispiel eben schriftlich dokumentieren: wie funktioniert eigentlich die KI; wo kommen die Daten her. Und natürlich muss man auch über die Wirkung der KI im Bereich der Grundrechte nachdenken. Also das, was verantwortliche, gute Ingenieure sowieso machen würden und auch schon machen, wird jetzt hier sozusagen rechtlich normiert, damit es dann auch alle machen. Das ist ganz wichtig, um eine Gleichheit im Wettbewerb zu schaffen zwischen allen, die künstliche Intelligenz herstellen, vermarkten oder nutzen.
Karina Filusch: Diese Frage an die Datenschutzbehörden – ich habe noch die Gelegenheit, mit Datenschutzbeauftragten in diesem Podcast zu sprechen – werde ich mit auf jeden Fall merken, aufnehmen und zurückgeben: warum die Datenschutzbehörden das eigentlich nicht nutzen, um dort mal Einsicht nehmen, wie diese Programme genau geschrieben sind; wie sie funktionieren. In der Tat, das müsste noch passieren. Ich habe noch zwei Fragen an Sie. Eine betrifft meine Lieblingsüberschrift aus ihrem Buch. Und zwar lautet sie: wann übernimmt die allgemeine KI oder eine Superintelligenz die Macht? Wann ist es denn so weit? In ein, zwei Jahren, oder wann müssen wir uns darauf einstellen?
Paul Nemitz: Diese Frage kann ich so nicht beantworten. Ich kann da immer nur genau zuhören, wenn diejenigen, die diese Programme entwickeln, über dieses Thema reden. Ich halte mich da sehr an Stuart Russell, was ein britischer Professor in Amerika lehrt und das wichtigste Lehrbuch für Studenten geschrieben hat, zur künstlichen Intelligenz, und der sagt: es ist nicht genau vorhersehbar. Aber es ist wie bei der Spaltung des Atomkerns: Lange Jahre haben die Wissenschaftler in den 20er-Jahren, das ist für undenkbar gehalten, dass der Atomkern gespalten wird, und es wurden große Reden gehalten darüber. Und dann ein Tag, nachdem eine solche große Rede gehalten worden war in der gesagt wurde, dass es nicht geht, hat ein Wissenschaftler die Formel entdeckt, nach der die Spaltung des Atomkerns möglich ist. Und er sagt: „Ja, es fließt jetzt so viel Geld in die Forschung zur KI, dass es denkbar ist, dass das passiert wird.“ Wann? Ja, also ich würde sagen, dass es in wenigen Jahren sein kann, es kann aber auch noch 30, 40 Jahre dauern. Das wissen wir nicht. Aber wir müssen uns darauf einstellen, dass eines Tages eine künstliche Intelligenz auftaucht, die in fast allen Bereichen dem Menschen überlegen ist. Und diese Systeme, aber auch schon die bestehenden Systeme heute, müssen wir unter Kontrolle halten. Sonst wird der Mensch zum Werkzeug der Maschine, und das kann keiner wollen. Wir wollen doch weiter in einer Welt leben, in der wir die Chefs als Menschen sind und die Maschinen die Werkzeuge sind.
Karina Filusch: Jetzt komme ich zu meiner letzten Frage, und zwar: was ist DaSou, also Datensouveränität, für Sie?
Paul Nemitz: Datensouveränität hat zwei Aspekte. Es geht zunächst mal um den Einzelnen. Also, dass man mit seinen Daten so umgeht, wissentlich, wie man es will. Und da haben wir das Problem, dass viele Menschen gar nicht merken, wie ihnen die Daten entzogen werden und wie sie auch überwacht werden und ständig über sie Daten produziert werden. Das heißt, die individuelle Datensouveränität, obwohl die Menschen sehr viele Rechte haben. Nach der Datenschutzgrundverordnung haben sie das Recht, Einsicht zu nehmen beim Staat, bei allen Unternehmen: was für Daten habt ihr über mich? Man hat das Recht auf Löschung und so weiter. Aber die Menschen nehmen das nicht wahr und können es auch oft nicht wahrnehmen, weil sie gar nicht merken, was eigentlich an Daten über sie erhoben wird. Also das stellt die informationelle Selbstbestimmung des Menschen – ein Begriff des Bundesverfassungsgerichts – in Frage. Souveränität würde also bedeuten, dass der Mensch weiß, was über ihn erhoben wird, und er das auch weitestgehend kontrollieren kann. Also: erstens, was wird über mich erhoben, und zweitens, was wird damit gemacht? Da müssen wir Fortschritte machen in der Technologie, damit den Menschen die Kontrolle wieder ermöglicht wird. Das ist auch eine technische Herausforderung. Das ist das erste Thema. Das zweite Thema ist die gesamtgesellschaftliche Datensouveränität. Nämlich: Ist eigentlich unsere Gesellschaft insgesamt und der Staat noch in der Lage, Gesellschaft wirklich gut zu verstehen? Oder sind es ferne Mächte? Stichwort: Übertragung von Daten durch Tiktok nach China oder große Konzerne, die die Gesellschaft insgesamt – ihre politische Orientierung, ihre ökonomische Orientierung, ihre Produktionsprozesse, ihren Gesundheitszustand und so weiter – besser verstehen als der Staat? Verlieren wir also unsere staatliche Souveränität schleichend an diejenigen, die die Daten über die Gesellschaft insgesamt aggregieren, analysieren und so viel besser wissen, was hier läuft als es das Parlament oder die Regierung selbst weiß? Das sind die zwei großen Fragen. Ich würde sagen, dass in beiden Bereichen die Datensouveränität bedroht ist. Souveränität ist immer auch ein Begriff der Demokratie. Es geht um Beherrschung durch Demokratie und durch Menschen, die Rechte haben durch die Demokratie. Es ist ein Grundrecht, das der informationellen Selbstbestimmung, aber es ist auch ein Grundrecht, an Demokratie teilzunehmen, und die Demokratie muss etwas bewirken können. Wenn andere die Daten besser aggregieren und besser verstehen als das Parlament und die Regierung, verlieren wir dadurch unsere demokratische Souveränität. Das darf nicht passieren, daran müssen wir arbeiten. Das heißt, wir müssen zum Beispiel Zugangsrechte schaffen. Das ist teilweise jetzt auch in der europäischen Gesetzgebung geschehen für den Staat zu den Daten, die Private erheben, damit der Staat zumindest auf gleicher Ebene steht, in wichtigen Bereichen, wie die Privaten. Am Ende geht es darum, dass sich Menschen in dieser Thematik in der Demokratie engagieren, und ich freue mich über jeden, der kenntnisreich ist. Vor allem für diejenigen, die an diesen Themen arbeiten – an der künstlichen Intelligenz, an den Daten, an der Digitalisierung – und derjenige oder diejenige dann bereit ist, auch am demokratischen Prozess zur demokratischen Gestaltung der Entwicklung dieser Technologien teilzunehmen.
Karina Filusch: Dann möchte ich Ihnen vielmals danken für das Gespräch und für diesen Lobgesang auf den Menschen. So habe ich das zumindest empfunden. Ihr Buch ist extrem vielfältig. Ich kann nur nochmal sagen, bitte lest das alle! Es hat sehr, sehr viel Freude gemacht, und man lernt sehr viele neue Aspekte dazu. Ich danke Ihnen sehr für Ihre Zeit und dass Sie bei uns waren und uns einen Einblick gewährt haben. Vielen Dank. Ich hoffe, euch hat die Folge gut gefallen. Abonniert uns gerne und hinterlasst uns auch sehr gerne eine gute Bewertung in eurer Lieblings-Podcast-App. Ihr könnt uns zum Beispiel per E-Mail erreichen unter hallo@dasou.law. DaSou ist eine Produktion der Kanzlei Filusch. Mehr Infos findet ihr auf unserer Webseite www.dasou.law. Zur Redaktion gehören Lynn Böttcher und Karina Filusch. Editiert wurde der Podcast von Christoph Hinners. Der Jingle wurde, komponiert von Mauli. Die Idee zu DaSou hatte Axel Jürs. Bei der Konzeptionierung unterstützte uns Susan Stone. Das Cover hat Hélène Baum gestaltet.