Wie können Systeme künstlicher Intelligenz ohne Qualitätsverlust rechtsverträglich gestaltet werden?

Künstliche intelligente (KI)-Systeme erfreuen sich immer größerer Beliebtheit. Im Alltag erleben wir KI beispielsweise durch smarte persönliche Assistenten (SPAs), welche von Amazon, Google und Co. angeboten werden. Zwar haben diese KI-Systeme große Nutzungspotenziale, gleichzeitig gehen damit aber auch erhebliche Risiken einher, beispielsweise datenschutzrechtliche. Doch wie lassen sich diese Spannungsfelder auflösen? Interdisziplinäre Gestaltungsmuster im Systementwicklungsprozess können eine Lösung darstellen, welche nachfolgend mit Handlungsimplikationen für gesellschaftlich wünschenswerte „KI made in Germany“ skizziert wird.

Durch technologische Entwicklungen haben sich KI-Systeme in den vergangenen Jahren stark weiterentwickelt. Regelbasierte Systeme prägten vor ca. 60 Jahren die KI, wobei heutige Systeme in der Lage sind, eigenständig Aufgaben zu lösen [1]. Für das Training moderner KI-Systeme müssen diese zunächst mit einer gewissen Menge Daten versorgt werden, bevor sie im realen Anwendungskontext eingesetzt werden können. Hierfür werden Verfahren des maschinellen Lernens eingesetzt, wobei das Kontinuum von einfachen Prognosemodellen bis hin zu kaum interpretierbaren neuronalen Netzen reicht, welche zur (teil-)autonomen Steuerung von Systemen eingesetzt werden. In den letzten Jahren haben sich immer mehr smarte persönliche Assistenten (SPAs) durchgesetzt, welche als zielbasierte KI-Systeme definiert sind als eine Art System „that uses input such as the user’s voice […] and contextual information to provide assistance by answering questions in natural language, making recommendations and performing actions“ [2, S. 223]. Solche Systeme sind, neben User-Interface-Aspekten, insbesondere durch Kontextadaptivität, Selbstlernfähigkeit sowie die Plattformintegration in ein digitales Ökosystem charakterisiert [3, 4].

Relevanz erlangen die kommerziellen SPAs, wie beispielsweise Amazons Alexa, Apples Siri, Microsofts Cortana oder Samsungs Bixby, durch das prognostizierte Wachstum von weltweit 390 Mio. Nutzern in 2015 auf 1,8 Mrd. Nutzer in 2021 [5]. Gleichzeitig kommt Kritik zum Datenschutz und zur Qualität (speziell zur Nützlichkeit) der SPAs im Alltag auf. So stehen insbesondere der Nichtnutzung bzw. dem Nichtkauf Sicherheits- sowie Qualitätsbedenken entgegen [6]. Solche Bedenken lassen sich aber durch adäquate Technikgestaltung lösen, nämlich durch die Umsetzung von Qualitäts- und Rechtsanforderungen. Hierfür müssen entsprechende Anforderungen zuvor identifiziert und mögliche Konflikte zwischen den Gestaltungszielen beider Bereiche aufgelöst werden. Dies kann durch Anforderungs- und Entwurfsmuster gelingen, welche Anforderungsanalysten (bzw. Product Owner in agilen Entwicklungsprojekten) und Entwickler in der Systementwicklung dabei unterstützen, sowohl Qualitäts- als auch Rechtsziele zu adressieren, sich abzeichnende Zielkonflikte in der Entwicklung aufzulösen und zuletzt auch interdisziplinäres Gestaltungswissen nutzbar zu kodifizieren.

Welche Potenziale bietet die interdisziplinäre Gestaltung innovativer KI-Systeme?

Im Konsumentenmarkt gehören SPAS zu den prominentesten Anwendungen von KI. Durch Kontexterkennung und -vorhersage werden in jeder Situation passgenaue Informationen und Leistungen angeboten [7, 8]. Für die Kontexterkennung werden dabei zahlreiche Daten ausgewertet, welche über eine Vielzahl von Sensoren dieser Systeme gesammelt werden. Damit die gelieferten Informationen möglichst effektiv genutzt werden können, werden maschinelle Lernverfahren in der Auswertung der Daten eingesetzt. Hierfür ist der Zugang zu personenbezogenen Daten, insbesondere Nutzer- und Nutzungsdaten unabdinglich. Jedoch sind SPAs durch Intransparenz bei der Sammlung, Verarbeitung und Weitergabe dieser Daten, gepaart mit immer öfter auftretenden Privatsphäreskandalen gekennzeichnet. Diese Probleme tangieren insbesondere auch die rechtliche Perspektive, wenn wir SPAs betrachten, speziell bei der Wahrung von Grundrechten, aber auch bezüglich der Datenschutzgrundverordnung.

Entsprechend ist es hochgradig praxisrelevant, sich diesem Thema von einer interdisziplinären Gestaltungsperspektive zu nähern, um die konfliktären Gestaltungsfelder einer qualitätszentrierten, aber gleichzeitig rechtsverträglichen Technikgestaltung für innovative KI-Systeme wie SPAs zu verwirklichen. Dabei wird im Beitrag aufgezeigt, wie Anforderungs- und Entwurfsmuster als expliziertes Wissen über wiederkehrende Probleme der Systementwicklung und dafür erprobter Lösungsansätze dienen können. Diese Muster können dann als „Schablone“ für die Entwicklung gesellschaftlich wünschenswerter KI-Systeme in diesem Falle SPAs „made in Germany“ genutzt werden [9,10,11].

Welche Rolle spielt das Recht im Systementwicklungsprozess?

Rechtliche Aspekte auf Anforderungsseite werden von Systementwicklern oftmals als „notwendiges Übel“ angesehen, welche jedoch mindestens im erlaubten Mindestmaß adressiert sein müssen, damit Produkte rechtmäßig in Umlauf gebracht werden dürfen. Solche Minimalansätze schützen aber nicht langfristig vor möglichen Negativfolgen der Techniknutzung und vor dem Hintergrund steigender rechtlicher Anforderungen, insbesondere durch die Datenschutzgrundverordnung, ist dies auch nicht sinnvoll, wenn Kosten für die Anpassung von Systemen an neue rechtliche Ansätze investiert werden müssen [12]. Diesem Minimalansatz der rechtmäßigen Gestaltung stehen Ansätze der Rechtsverträglichkeit gegenüber, die in der Gestaltung prüfen, wie die Nutzer vor sozialen und individuellen Risiken der Techniknutzung bestmöglich geschützt werden können [12]. Viele gesetzliche Normen enthalten aber unbestimmte Rechtsbegriffe, die sich einerseits erst mal nicht ohne Weiteres unmittelbar in technische Gestaltungsziele übersetzen lassen. Andererseits fehlt einer soziotechnischen Entwicklungsperspektive auch schlicht das Domänenwissen (aus einer juristischen Perspektive), welches notwendig ist, um diese Rechtsanforderungen zu verstehen. So sind entsprechende Ansätze notwendig, um dieses Wissen für Systementwickler handlungsorientiert zu konkretisieren, speziell wenn die rechtsverträgliche Gestaltung von KI-Systemen ein kompetitiver Vorteil gegenüber der vom Überwachungskapitalismus getriebenen Konkurrenz sein kann [13].

Haben Qualitätsaspekte bei der KI-Entwicklung noch Priorität?

Während Rechtsverträglichkeit den Nutzer vor Risiken schützen soll, ist die Qualität eines Services, die Dienstleistungsqualität, ein wesentlicher Treiber für die Zufriedenheit der Nutzer und den wirtschaftlichen Erfolg eines Systems [14, 15]. Dienstleistungsqualität erfasst hierbei, wie die Leistungserbringung den Kundenerwartungen auf einem bestimmten Anforderungsniveau gerecht wird, wobei das Kontinuum bei der Erreichung verschiedener Anforderungsniveaus entsprechend groß ist und gegebenenfalls entscheidend ist, ob ein System genutzt wird. Im Gegensatz zu rechtlichen Anforderungen im Entwicklungsprozess, welche für den Systementwickler häufig unbekanntes Fachwissen darstellen, gehören Aspekte der Dienstleistungsprozesse zu einem festen Bestandteil der Ausbildung eines Systementwicklers und stellen somit keine unbekannten Herausforderungen dar. Dies führt in der Praxis häufig dazu, dass der Dienstleistungsqualität eine vergleichsweise hohe Aufmerksamkeit geschenkt wird und rechtliche Aspekte vernachlässigt werden.

Wie lässt sich das Zusammenspiel von Recht und Dienstleistungsqualität bei der Entwicklung von KI-Systemen zusammenbringen?

Bei der Gegenüberstellung dieser beiden Perspektiven ergibt sich ein Lösungsraum für die Gestaltung von KI-Systemen (Abb. 1; siehe hierzu [16]). Idealtypisch sollen sowohl die Ziele für Rechtsverträglichkeit als auch die Ziele für qualitative Hochwertigkeit angestrebt werden (siehe Abb. 1: oben rechts, grüner Bereich). Allerdings können auch unlösbare Zielkonflikte auftreten, die eine Ideallösung unmöglich machen, sodass alternative Kompromisslösungen gefunden werden müssen. Diese sind oftmals ein Trade-off zwischen den Domänen, entweder verstärkt rechtsorientiert oder verstärkt qualitätsorientiert (gelbe Bereiche). So sind Lösungen in diesen Bereichen in Betracht zu ziehen, wenn keine gleichermaßen rechtsverträgliche und qualitativ hochwertige Lösung gefunden werden kann. Hier sollte für den einzelnen Entwicklungsprozess entsprechend priorisiert werden, beispielsweise ob eine schnelle Markteinführung mit einem möglichst hohen Qualitätsniveau geschaffen werden soll oder ob eine nachhaltig rechtsverträgliche Priorisierung vorgenommen wird. Eine Kompromisslösung aus den Minimalanforderungen beider Domänen (mittig, oranger Bereich) sollte, wenn möglich, vermieden werden. Gleichzeitig bewegen sich aber insbesondere die aktuellen kommerziellen SPAs in diesem Bereich. Zu vermeiden sind Umsetzungen, die rechtswidrig und/oder qualitativ minderwertig sind (rote Bereiche).

Abb. 1

Lösungsraum im Spannungsfeld zwischen rechtlichen und qualitativen Zielen für die Entwicklung von künstlicher Intelligenz und für (teil-)autonome Entscheidungen eines intelligenten Agenten [16]

Wie werden interdisziplinäre Anforderungen im Systementwicklungsprozess identifiziert?

Um Rechts- und Qualitätsziele zu identifizieren, lassen sich beispielsweise Methoden der zielorientierten Anforderungsanalyse [17] nutzen, um Anforderungen zu strukturieren, priorisieren und jeder Aktion eines SPAs, oder eines KI-Systems im Allgemeinen, gegenüberzustellen. Hiermit gelingt es domänenspezifische Konflikte und Abhängigkeiten zu identifizieren. Ein Beispiel könnte hier die Sprecherkennung durch einen fremden SPA sein, welcher durch einen bisher fremden Nutzer aktiviert wird. Anhand der Stimme könnte der SPA diesen Nutzer identifizieren und mit einem Nutzerprofil abgleichen, damit entsprechende personalisierte Dienste angeboten werden, beispielsweise Playlists eines Musik-Streaming-Anbieters oder aber auch intimere Details des Nutzers.

Aus Perspektive des Rechts und der Qualität gibt es hier vielfältige Ziele, die berücksichtigt werden müssen (siehe im Folgenden [16]). Aus einer rechtlichen Sicht ist beispielsweise das Ziel der Datenminimierung zu beachten. Diese schreibt vor, dass personenbezogene Daten nur zur Erreichung des Verarbeitungszwecks erforderlich sein müssen. Aus Qualitätssicht wäre hingegen die Verbesserung der Sprecherkennung durch Lernfähigkeit ein wichtiges Ziel. Dieses Qualitätsziel der Lernfähigkeit kann damit insbesondere mit dem Ziel der Datenminimierung aus rechtlicher Sicht konfligieren. Um die Zielkonflikte, die zwischen Rechtsverträglichkeit und Dienstleistungsqualität entstehen können, zu illustrieren, soll hier und im Folgenden das beschriebene Szenario der Veranschaulichung dienen.

Wie lassen sich Konflikte in Systementwicklungsprozessen durch Anforderungsmuster identifizieren?

Anforderungsmuster werden in der Systementwicklung bei der Abstraktion von Anforderungen eingesetzt und beschreiben häufig auftretende Probleme im Kontext des Anforderungsmanagements sowie den Kern der Lösung des Problems [11]. Sie fungieren als Lösungsschablone, mit deren Hilfe Anforderungsanalysten bzw. Product Owner für ihren jeweiligen Projektkontext wiederkehrende Anforderungen identifizieren, spezifizieren und dokumentieren können [18], beispielsweise für Lastenhefte bzw. im agilen Projektkontext entsprechende Backlogs. Daneben können Anforderungsmuster neben der wiederkehrenden Problemstellung und dem Kern der Lösung auch Hinweise zur Priorisierung im Projekt, Abhängigkeiten zu und Konflikte mit anderen Anforderungen, Voraussetzungen zur Umsetzung sowie mögliche Konsequenzen beschreiben. Vorteile der Nutzung von Anforderungsmustern liegen insbesondere bei der Erleichterung des Projektmanagements sowie der Kommunikation durch ein einheitliches Vokabular (auch als Mustersprache bezeichnet).

Um die in Abb. 1 aufgeführten Erfüllungsgrade von rechtlichen und qualitativen Anforderungen abzubilden, ergeben sich sowohl für die Rechts- als auch für die Qualitätsdimension je verschiedene Anforderungsmuster. Jedes Muster enthält ergänzende Informationen, um dem Anwender zu helfen den Problemkontext zu verstehen und besser reagieren zu können. Da die Anforderungsmuster nicht alleinstehend betrachtet werden sollten, werden Abhängigkeiten und Verknüpfungen zu anderen Anforderungsmustern dargelegt. Im Folgenden werden zwei exemplarische Anforderungsmuster vorgestellt. Das Anforderungsmuster „Verarbeitung von Daten bis Erreichung des Verarbeitungszwecks“ (Abb. 2) unterstützt bei der Spezifikation rechtlicher Anforderungen, während das Anforderungsmuster „Deutung von und Reaktion auf Emotionen“ (Abb. 3) bei der Konkretisierung der Dienstleistungsqualität unterstützt.

Abb. 2

Rechtliches Anforderungsmuster

Abb. 3

Qualitatives Anforderungsmuster

Wie verläuft die Lösung von Zielkonflikten?

Das Ziel bei der Entwicklung von SPAs ist es gleichermaßen qualitativ hochwertige als auch rechtsverträgliche Lösungen zu finden, also auf der einen Seite emotionale Daten zu verarbeiten und so eine verbesserte Leistung zu erreichen, aber auf der anderen Seite emotionale Daten lediglich bis zur Erreichung des Verarbeitungszwecks zu speichern. Da hier ein Zielkonflikt vorliegt, müssen zur Bewältigung des Zielkonfliktes zunächst verschiedene Gestaltungsalternativen erarbeitet werden. Gestaltungsalternativen ergeben sich durch eine interdisziplinäre Lösungssuche auf Basis der grundlegenden Ziele und hergeleiteten Anforderungen. Ziel ist die Findung von Kompromissen oder die Überwindung von Konflikten durch kreative Lösungen.

Können Entwurfsmuster bei der Kodifizierung und Nutzbarmachung interdisziplinärer Gestaltungsprozesse unterstützen?

Der oben skizzierte Konflikt ließe sich womöglich mit einer Empathieverarbeitung lösen, welche auf dem Gerät selbst verarbeitet wird. Die Gestaltungslösung, die sich aus den Idealvorstellungen beider Anforderungsbereiche ergibt, ist nachfolgend exemplarisch als Entwurfsmuster dargestellt (Abb. 4). Entwurfsmuster enthalten Angaben zum Kontext, der Problemstellung, den relevanten Einflussfaktoren zum Abwägen von Gestaltungsalternativen sowie den Kern der Lösung [19]. Entwurfsmuster stellen konkrete Vorschläge zur Lösung dieser Probleme dar. Dabei können Entwurfsmuster, die etabliertes und wiederverwendbares Gestaltungswissen repräsentieren, Systementwicklern dabei helfen, anforderungsadäquat zu implementieren und insbesondere Probleme zu lösen. Die hier skizzierten Entwurfsmuster mit interdisziplinärem Lösungswissen stellen eine Möglichkeit dar, Lernprozesse bei Entwicklern anzustoßen und entsprechend fremdes Domänenwissen zu erwerben. Daneben dienen aber Entwurfsmuster bei der Kommunikation im (agilen) Entwicklerteam als einheitliche Sprache. Neben den wesentlichen Lösungsinformationen enthalten die Entwurfsmuster noch Angaben zu den zugrunde liegenden Zielen der Rechtsverträglichkeit und Dienstleistungsqualität sowie Verbindungen zu anderen Entwurfsmustern und zugrunde liegenden Anforderungen. Wie bereits die Anforderungsmuster, enthalten auch die Entwurfsmuster ergänzende Informationen. Dazu zählen beispielsweise die Einflüsse, die in dem Kontext relevant sind. Der Kern jedes Entwurfsmusters ist der Lösungsansatz, welcher in den Mustern Verlinkungen zu weiteren Informationen beinhaltet. Grundlegend baut jedes Entwurfsmuster auf Anforderungen auf, die ebenfalls im Muster dargestellt werden.

Abb. 4

Entwurfsmuster zur Lösung des Konfliktes

Gestaltung von KI-Systemen wie SPAs – Eine Chance für die interdisziplinäre und soziotechnische Systementwicklung?

In diesem Beitrag wurde skizziert, wie sich KI-Systeme unter Einbeziehung von Rechtsverträglichkeit und Dienstleistungsqualität entwickeln lassen. Demonstriert wurde mit dem Beispiel der SPAs, wie sich Ziele und Anforderungen aus beiden Bereichen identifizieren, Konflikte analysieren und diese durch zielgerichtete, mustergestützte Systemgestaltung auflösen lassen. Dieses Vorgehen kann dafür dienen, insbesondere auch andere Klassen von KI-Systemen in Entwicklungsprozessen zu unterstützen. Hierfür wurde im vorliegenden Beitrag der Fokus auf die Domänen des Rechts und der Dienstleistungsqualität gelegt, wobei natürlich auch andere Aspekte im Bereich der KI-Systeme durchaus größere Konflikte erzeugen können. Insbesondere ethische Aspekte haben in Bezug auf KI-Systeme ein hohes Konfliktpotenzial, welches sich mit dem vorliegenden Vorgehen bei gewissen Klassen von Systemen adressieren lässt und somit KI-Systeme gestaltet werden können, die aus normativer Sicht gesellschaftlich akzeptabel und gleichzeitig vom Endnutzer akzeptiert sind. Mit einer solchen Vorgehensweise lassen sich am Ende dann auch ökonomische Potenziale heben und dienen als Wettbewerbsvorteil für so entwickelte KI-Systeme.

Zusammenfassung

• KI-Systeme erfreuen sich im Alltag wachsender Beliebtheit durch beispielsweise smarte persönliche Assistenten.

• KI-Systeme benötigen zahlreiche Daten, um verbesserte Leistungen zu bieten.

• Entwurfsmuster stellen bewährte Lösungen konfliktärer Anforderungen in der Systementwicklung dar.

Handlungsempfehlung

• Suche nach Lösungen, um alle Disziplinen im Entwicklungsprozess gleichermaßen zu berücksichtigen

• Rechtliche Anforderungen sollten keinesfalls bei der Entwicklung von KI-Systemen vernachlässigt werden

• Verwendung von Anforderungs- und Entwurfsmuster, um rechtliche und qualitative Anforderungen gleichermaßen berücksichtigen zu können