InformationsfreiheitTÜV für Algorithmen

Öffentliche Stellen sollten den KI-Einsatz gewissenhaft prüfen.
(Bildquelle: Kenishirotie/stock.adobe.com)
Entscheidungen der öffentlichen Verwaltung werden bereits heute durch automatisierte Datenverarbeitungsvorgänge unter Zuhilfenahme von Algorithmen und künstlicher Intelligenz (KI) nicht nur automatisiert vorbereitet, sondern teilweise sogar voll automatisiert getroffen. Der Einsatz von Algorithmen und KI kann zwar Effizienzsteigerungen bewirken und Auswertungen großer Datenmengen erleichtern oder überhaupt erst ermöglichen. Die Verwaltung trägt jedoch eine hohe Verantwortung, den Einsatz von Algorithmen und KI-Verfahren insbesondere im Zusammenhang mit behördlicher Entscheidungsfindung rechtmäßig zu gestalten.
Oberstes Gebot: Transparenz herstellen
Elementar sind in diesem Zusammenhang die Beachtung der Menschenwürde und des Diskriminierungsverbots. Vor diesem Hintergrund stellt es ein großes Problem dar, dass Algorithmen und KI derzeit meist völlig intransparent funktionieren. Mit welchen Kriterien und Wertvorstellungen sie gefüttert werden und inwieweit die erzielten Ergebnisse dem Grundsatz der Gesetzmäßigkeit der Verwaltung entsprechen, ist für die Betroffenen in aller Regel nicht nachzuvollziehen. Die eingesetzten Algorithmen und KI-Verfahren müssen daher transparent gemacht werden, damit die Bürger, aber auch die Verwaltung selbst, das Zustandekommen der Entscheidungen nachvollziehen können. Neben automatisierten Entscheidungen, die Bürger unmittelbar betreffen, müssen auch Entscheidungen der Verwaltung ohne Bezug zu konkreten Personen, etwa bei der Planung von Verkehrswegen oder bei fiskalischem Handeln, nachvollziehbar sein.
Je höher das Risiko und je einschneidender die möglicherweise nachteiligen Auswirkungen für die betroffenen Menschen sein können, desto strenger muss geprüft werden, ob Algorithmen oder KI-Verfahren überhaupt grundrechtskonform eingesetzt werden können, ob die Verfahren sich ordnungsgemäß durchführen lassen und welche Folgen entstehen können. Unabdingbar für eine solche Folgenabschätzung ist die ausreichende Transparenz über die Algorithmen und Verfahren der künstlichen Intelligenz. Zudem müssen die errechneten Ergebnisse vorhersehbar und nachvollziehbar sein; gleichartige Eingaben müssen stets zu gleichartigen Ausgaben führen. Nach den Grundsätzen der Informationsfreiheit und der Verwaltungstransparenz müssen die für die Verwaltung essenziellen Informationen über die von ihr eingesetzten Algorithmen sowie KI-Verfahren zudem der Öffentlichkeit zur Verfügung gestellt werden.
Positionspapier der Informationsfreiheitsbeauftragten
Im Rahmen der 36. Konferenz der Informationsfreiheitsbeauftragten in Deutschland Mitte Oktober 2018 in Ulm haben für die Informationsfreiheit zuständige Landesdatenschutzbeauftragte sowie die damalige Bundesbeauftragte für den Datenschutz und die Informationsfreiheit daher das Positionspapier „Transparenz der Verwaltung beim Einsatz von Algorithmen für gelebten Grundrechtsschutz unabdingbar“ vorgelegt. Sie fordern darin Bundes- und Landesgesetzgeber auf, öffentliche Stellen noch konsequenter als bislang zu einem transparenten, verantwortungsvollen Einsatz von Algorithmen und KI-Verfahren zu verpflichten. Es bietet sich an, entsprechende Transparenzvorschriften in den jeweiligen Informationsfreiheits- und Transparenzgesetzen oder den einschlägigen Fachgesetzen zu verankern. Ausnahmen sollten dabei auf ein Minimum beschränkt werden.
Dem Positionspapier zufolge müssen öffentliche Stellen vor dem Einsatz von Algorithmen und KI-Verfahren etwa prüfen, inwieweit dieser grundrechtskonform überhaupt möglich ist. Bestehen nach einer sorgfältigen Prüfung Zweifel, beispielsweise wenn ausreichende Nachvollziehbarkeit, Überprüfbarkeit und Beherrschbarkeit nicht gegeben sind, muss auf den Einsatz verzichtet werden. Öffentliche Stellen sollten zudem für ausreichende Transparenz über die eingesetzten Algorithmen sorgen. Für einen beherrschbaren Einsatz der Technik müssen sie über aussagekräftige, umfassende und allgemein verständliche Informationen bezüglich der eigenen Datenverarbeitungen verfügen. Dazu gehören vor allem die Ein- und Ausgabedaten des Verfahrens, die darin enthaltene Logik, insbesondere die verwendeten Berechnungsformeln einschließlich der Gewichtung der Eingabedaten, Informationen über das zugrundeliegende Fachwissen und die individuelle Konfiguration durch die Anwender und die Tragweite der darauf basierenden Entscheidungen sowie die möglichen Auswirkungen der Verfahren. Soweit es rechtlich möglich ist, sollten diese Informationen auch veröffentlicht werden.
Vor Manipulationen schützen
Um der Verwaltung die Erfüllung dieser Pflichten zu ermöglichen, müssen die Transparenzanforderungen nach Ansicht der Autoren des Positionspapiers schon bei der Programmierung beachtet werden (Transparency by Design). Die berechneten Ausgabedaten sollten dabei jeweils um die Information ergänzt werden, welche Eingabedaten oder Bewertungen besonders relevant für das Ergebnis waren. Insbesondere bei selbstlernenden Systemen muss eine Unterstützung durch entsprechende Auswertungswerkzeuge vorgesehen sein.
Dokumentation und Protokollierung der Abläufe sowie wesentlicher Parameter sind unerlässlich, um die Sicherheit und Vertrauenswürdigkeit des Verfahrens zu schützen und etwaige Manipulationen zuverlässig erkennen zu können. Der Einsatz muss durch geeignete technische und organisatorische Maßnahmen manipulationssicher gestaltet werden. Die getroffenen Maßnahmen sind einer regelmäßigen Evaluierung und Qualitätskontrolle zu unterziehen. Um eine umfassende Überprüfbarkeit zu gewährleisten, fordert das Positionspapier, den jeweiligen öffentlichen Stellen auch den Quelltext sowie andere relevante Informationen über die Algorithmen und KI-Verfahren zur Verfügung zu stellen.
Beim KI-Einsatz müssen die öffentlichen Stellen die jeweils erforderlichen risikoadäquaten Sicherheitsmaßnahmen treffen. Abhängig vom konkreten Anwendungsfall können hierzu insbesondere auch manuelle Kontrollen, einfache Widerspruchsmöglichkeiten oder die Rückabwicklung von Entscheidungen gehören. Unter keinen Umständen darf die Datenverarbeitung mittels Algorithmen und KI-Verfahren eine diskriminierende Wirkung entfalten. Vor diesem Hintergrund sind hohe Anforderungen an die Auswahl und Entwicklung derartiger Verfahren zu stellen, beispielsweise bei der Auswahl von Trainingsdaten für selbstlernende Systeme oder für in solchen Systemen eingesetzte Bewertungsfunktionen.
Umfassender Handlungsbedarf
Beim Vorliegen von hohen Risiken für die Bürger muss vor der Entscheidung über einen Einsatz von Algorithmen und KI-Verfahren eine Folgenabschätzung durchgeführt werden, die gegebenenfalls regelmäßig zu wiederholen ist. Bei besonders sensiblen Anwendungsbereichen sollte die Zulassung der Algorithmen und KI-Verfahren zudem erst nach Überprüfung und Abnahme durch eine Art Algorithmen-TÜV möglich sein.
Sowohl der Gesetzgeber als auch die öffentlichen Stellen müssen vor dem Hintergrund der Grundrechtsbindung der Verwaltung dafür Sorge tragen, dass die in dem Positionspapier formulierten Maßstäbe für den öffentlichen Bereich verbindlich festgelegt und umgesetzt werden. Darüber hinaus ist der Gesetzgeber dazu angehalten, entsprechende Vorgaben auch für die Privatwirtschaft zu normieren.
Das vorgelegte Positionspapier macht den umfassenden Handlungsbedarf beim KI-Einsatz in der öffentlichen Verwaltung deutlich. Die Informationsfreiheitsbeauftragten aus Bund und Ländern stehen gerne bereit, um konkret zu besprechen, wie sich die Anforderungen umsetzen lassen. Auch Forschungsergebnisse zu Verfahren der künstlichen Intelligenz können hierbei künftig eine wesentliche Rolle spielen.
Potsdam: Sehr guter Job
[25.04.2025] Melitta Kühnlein, Leiterin des Fachbereichs Informations- und Kommunikationstechnologie bei der Stadt Potsdam, spricht im Interview über ihre Verantwortlichkeiten und Ziele sowie Frauen in der IT und in Führungspositionen. mehr...
Ahaus: Digitalisierungsstrategie verabschiedet
[15.04.2025] Ahaus soll zu einer modernen, digitalen Stadt werden, in der neue Technologien und digitale Verwaltungsservices das Leben der Menschen einfacher machen. Als Leitfaden dient der Kommune ihre neue Digitalisierungsstrategie. mehr...
Rheinland-Pfalz: Digitale Transformation geht nur gemeinsam
[15.04.2025] Die zweite landesweite Digitalisierungsveranstaltung in Koblenz zeigt, dass Rheinland-Pfalz beim OZG-Umsetzungsstand deutliche Fortschritte macht. Rund die Hälfte der zentralen OZG-Leistungen ist angebunden. Ziel bleibt die vollständige Ende-zu-Ende-Digitalisierung. mehr...
IT-Planungsrat / FITKO: Gemeinsamer Jahresbericht für 2024
[14.04.2025] Im gemeinsamen Jahresbericht für 2024 berichten der IT-Planungsrat und die Föderale IT-Kooperation (FITKO) über ihre Tätigkeiten und Erfolge. Erstmals kommen auch die Gremien, Arbeits- und Projektgruppen zu Wort. mehr...
Kooperationen: Die Renaissance einläuten
[11.04.2025] Neben einer konsequenten Digitalisierung kann die Stärkung der interkommunalen Zusammenarbeit das Fundament bieten, um die kommunale Aufgabenerfüllung auch in Zeiten des Fachkräftemangels zu sichern. Das leistet auch einen Beitrag gegen Staatsverdrossenheit. mehr...
Koalitionsvertrag: Digitalministerium soll kommen
[10.04.2025] Union und SPD haben sich auf einen Koalitionsvertrag verständigt. Kommunen und Verbände begrüßen das geplante Digitalministerium, sehen Fortschritte beim Bürokratieabbau und fordern eine zügige Umsetzung zentraler Vorhaben. mehr...
DStGB/iit: Zukunftsradar Digitale Kommune 2024
[10.04.2025] Der neue DStGB-Zukunftsradar liegt vor. Die Studie belegt: Kommunen sehen eine besser abgestimmte föderale IT-Infrastruktur und eine gemeinsame Cybersicherheitsstrategie als zentrale Voraussetzungen für die weitere Verwaltungsdigitalisierung. mehr...
Interview: Digital Only als Ziel
[08.04.2025] Wie der Stand der Digitalisierung in der Kommunalverwaltung ist und welche Erwartungen die kommunalen IT-Dienstleister an die neue Bundesregierung haben, darüber sprachen wir mit Rudolf Schleyer, dem Vorstandsvorsitzenden der AKDB. mehr...
Positionspapier: Verwaltung effizient gestalten
[07.04.2025] München, Augsburg und Nürnberg haben ein gemeinsames Positionspapier zu kommunalen Cloudregistern der FITKO zugeleitet. Die bayerischen Städte sehen die Registermodernisierung und zentrale IT-Lösungen als notwendige Schritte zur Sicherung der Verwaltungseffizienz. mehr...
Niedersachsen: Pakt für Kommunalinvestitionen
[25.03.2025] Die niedersächsische Landesregierung stellt den Kommunen 640 Millionen Euro aus dem Jahresüberschuss 2024 zur Verfügung. Mit dem neuen Kommunalinvestitionsprogramm sollen Städte, Gemeinden und Kreise gezielt entlastet werden – ohne Eigenanteil und mit flexibler Mittelverwendung. mehr...
D21-Digital-Index: Digitale Resilienz als Schlüssel
[10.03.2025] Alljährlich liefert D21 mit ihrem Digital-Index ein umfassendes Lagebild zum Digitalisierungsgrad in Deutschland. Nun hat die Initiative ihre Studie für 2024/25 vorgelegt. Demnach verändern digitale Technologien Gesellschaft und Wirtschaft tiefgreifend – die Auswirkungen auf Wirtschaft und Arbeit werden aber weitgehend unterschätzt. mehr...
Beckum: d-NRW-Beitritt beschlossen
[03.03.2025] Um Zeit und Aufwand bei der Ausweitung ihrer digitalen Verwaltungsservices zu sparen, tritt die Stadt Beckum der d-NRW bei. Als Trägerin der rechtsfähigen Anstalt des öffentlichen Rechts wird sie unter anderem von einer ausschreibungsfreien Nachnutzung von OZG-Leistungen profitieren. mehr...
München: Fortschreibung der Digitalisierungsstrategie
[13.02.2025] Der Münchner Stadtrat hat die fünfte Fortschreibung der Digitalisierungsstrategie der bayerischen Landeshauptstadt beschlossen. Sie beinhaltet unter anderem den Aufbau eines Kompetenzschwerpunkts für User Experience sowie eine neue Formulierung des strategischen Prinzips der nutzerzentrierten Gestaltung. mehr...
OZG: „Aufenthalt“ erreicht alle Milestones
[07.02.2025] Das maßgeblich vom Land Brandenburg vorangetriebene OZG-Projekt „Aufenthalt“ hat alle Vorgaben des OZG-Verwaltungsabkommens erfüllt. Inzwischen nutzen über 270 Ausländerbehörden die digitalen Dienste, weitere 170 befinden sich im Roll-out. Die Weiterentwicklung läuft kontinuierlich. mehr...
Sachsen: Neue CIO für den Freistaat
[07.02.2025] Daniela Dylakiewicz ist neue CIO des Freistaats Sachsen. Um die digitale Verwaltungstransformation voranzutreiben, strebt sie eine enge Zusammenarbeit mit den Kommunen des Landes an. mehr...