FormalPara Kernaussagen
  1. 1.

    Künstliche Intelligenz trägt dazu bei, konsistente Entscheidungen zu treffen.

  2. 2.

    Komplexe Anwendungen erfordern eine Kombination von Technologien.

  3. 3.

    Künstliche Intelligenz ist ein Werkzeug, um die Menschen zu entlasten, aber sie kann sie nicht ersetzen.

  4. 4.

    Maschinelles Lernen stößt an Grenzen bei unvollständigen Daten und sich ändernden Situationen.

  5. 5.

    Die Sicherstellung von Compliance erfordert nachvollziehbare Schlussfolgerungen.

17.1 Einleitung

In diesem Beitrag befassen wir uns mit der Entscheidung zur Zulassung von potenziellen Studierenden zu einem Studiengang. Die Anwendung steht stellvertretend für Entscheidungen, bei denen aufgrund von vorgegebenen Kriterien einigen Menschen der Zugang zu Gütern und Dienstleistungen gewährt und anderen verweigert wird. Weitere Beispiele sind die Gewährung von Beihilfen wie Sozialhilfe oder Stipendien, die Vergabe von Krediten, der Anspruch auf eine medizinische Behandlung oder die Vergabe von Fördermitteln.

Wegen der Komplexität der Entscheidungskriterien ist die Prüfung der Eignung in der Regel äußerst zeit- und kostenaufwendig (Dagar 2021; Hänig et al. 2023; Sarkar 2021). Hinzu kommt, dass die Kriterien teilweise auch von der subjektiven Sichtweise der Fachleute abhängen (Hollenweger 2011), was gelegentlich zu intransparenten und inkonsistenten Entscheidungen führen kann. Da solche Entscheide den Verlauf des Lebens von Personen entscheidend beeinflussen können, ist bei der Entscheidungsfindung besondere Sorgfalt geboten.

Der Einsatz von künstlicher Intelligenz könnte dabei helfen, transparente und konsistente Entscheidungen zu treffen und gleichzeitig effizienter und kostengünstiger zu arbeiten. Ziel ist es, möglichst viele Entscheide automatisch durchzuführen und menschliche Entscheider nur in unklaren Fällen zu involvieren.

Der Einsatz von künstlicher Intelligenz stellt allerdings Herausforderungen, die wir am Beispiel der Aufnahme in den Masterstudiengang Business Information Systems der Fachhochschule Nordwestschweiz analysieren. Im Studienreglement ist das Aufnahmekriterium in den Studiengang sehr einfach definiert: Aufgenommen wird, wer einen Bachelorabschluss in einem verwandten Gebiet mit guten Noten und Berufserfahrung hat. Ein naives Vorgehen wäre, mit maschinellem Lernen aus den dokumentierten Fällen ein Modell zu trainieren. Dies stößt jedoch an Grenzen:

  • Variabilität: In der Praxis gibt es eine große Variabilität. Da der Studiengang international ist, kommen die Studierenden aus verschiedenen Ländern mit einem breiten Spektrum an Bachelorabschlüssen und ganz unterschiedlichen Notensystemen. So kommen immer wieder Fälle, die mit vorherigen Fällen nicht vergleichbar sind. Um die Umrechnung von allen Notensystemen lernen zu können, ist eine sehr große Anzahl von Fällen notwendig, die an einer Hochschule nicht verfügbar sind.

  • Compliance: Es muss sichergestellt sein, dass die verbindlichen Vorgaben eingehalten werden, die sich aus den Gesetzen und der Studienordnung ergeben. Ein verbindliches Kriterium ist, dass der Bachelorabschluss von einer anerkannten Hochschule stammt. Ob eine bisher noch nicht bekannte Hochschule anerkannt ist, lässt sich aus historischen Fällen nicht herleiten, sondern muss explizit überprüft werden, während bei Noten und Berufserfahrung ein Spielraum besteht und Kompensationen möglich sind.

  • Veränderung: Im Laufe der Jahre wurden die Aufnahmekriterien mehrfach angepasst, wodurch nicht alle Entscheide aus früheren Jahren auf aktuelle Fälle übertragbar sind.

  • Nachvollziehbarkeit: Ungerechtfertigte Ablehnungen können angefochten werden. Daher muss die Entscheidung transparent, nachvollziehbar und überprüfbar sein.

Um mit der Komplexität der Entscheidung umzugehen, besteht die Möglichkeit, die Entscheidung im Sinne von Divide and Conquer in Teilentscheidungen zerlegen. Für jede dieser Teilentscheidungen kann die jeweils geeignete Umsetzung gewählt werden. Unsere Erfahrung zeigt, dass hybride Intelligenz als Interaktion von maschinellem Lernen, explizit repräsentiertem Wissen und Menschen es ermöglicht, mit begrenzten und unstrukturierten Daten in komplexen Bereichen und bei wechselnden Kriterien konsistente Entscheidungen zu treffen.

Abb. 17.1 zeigt die Einordnung der Lösung in die im Einleitungskapitel vorgestellten Kategorien. Die Anwendung ist eine Entscheidung über die Zulassung zu einem Studiengang an einer Hochschule, was hier als öffentlicher Dienst klassifiziert ist. Als Methoden kommen regelbasierte Systeme und maschinelles Lernen zum Einsatz, die Daten aus Anmeldedokumenten und einer Tabelle mit den Daten von Anmeldungen der letzten Jahre beziehen.

Abb. 17.1
figure 1

Thematische Einordnung des Kap. 17

Full size image

17.2 Anwendungsfall

Jedes Jahr erhält die Fachhochschule Nordwestschweiz (FHNW) etwa 150 Anmeldungen für den Masterstudiengang Business Information Systems.Footnote 1. Im Studienreglement ist das Aufnahmekriterium in den Studiengang sehr einfach definiert: Aufgenommen wird, wer einen Bachelorabschluss in einem verwandten Gebiet mit guten Noten und Berufserfahrung hat. Die Aufnahmekriterien sind in einer Handlungsanleitung konkretisiert. Formal müssen folgende Kriterien erfüllt sein:

  • Die Kandidat*innen müssen zwingend einen Bachelor oder einen äquivalenten Abschluss haben.

  • Der Abschluss muss von einer anerkannten Hochschule vergeben worden sein.

Sind diese Voraussetzungen erfüllt, werden weitere Kriterien beurteilt:

  • Die Durchschnittsnote des Bachelorabschlusses: Erwartet wird eine Durchschnittsnote von mindestens 4,8 laut Schweizer Notensystem. Wurde der Bachelor in einem anderen Land erworben, wird die Note in das Schweizer Notensystem umgerechnet.

  • Die Dauer der relevanten Arbeitserfahrung: Erwartet wird mindestens ein halbes Jahr kaufmännische oder technische Berufserfahrung.

  • Bachelorabschluss: Erwartet wird ein Bachelor in Wirtschaftsinformatik, Betriebswirtschaft, Informatik oder einem verwandten Gebiet.

  • Kommunikationskompetenz in Englisch: Erwartet wird ein Level C1 nach dem gemeinsamen Europäischen Referenzrahmen für Sprachen.Footnote 2.

Diese Kriterien sind nicht binär, sondern können mehr oder weniger gut erfüllt sein. Die Beurteilung, wie gut ein Kriterium erfüllt ist, ist dabei nicht immer eindeutig. Bei der Note gibt es zwar eine klare Maßeinheit zwischen 1 und 6, allerdings ist die Umrechnung ausländischer Noten auf das Schweizerische Notensystem nicht immer eindeutig zu entscheiden, da hinter den Notensystemen unterschiedliche Philosophien stecken. Bei der Arbeitserfahrung beeinflussen neben der Dauer auch die Art der Tätigkeit und der Beschäftigungsgrad die Beurteilung. Da die Bezeichnung von Studienabschlüssen nicht normiert ist und sich bei gleichnamigen Studiengängen die Curricula unterscheiden, ist die Beurteilung der Äquivalenz von Studiengängen eine anspruchsvolle Aufgabe.

Die Note und die Arbeitserfahrung werden nach den folgenden Kategorien bewertet:

++:

übertroffen,

+:

voll erfüllt,

0:

durchschnittlich,

−:

nicht erfüllt.

Es wird erwartet, dass die Kandidat*innen in allen Kriterien den Wert + erreichen. Eine 0 kann durch ein ++ in einem anderen Kriterium kompensiert werden. Kandidat*innen, die diese Kriterien erfüllen, können direkt aufgenommen werden. Kandidat*innen, die im Schnitt schlechter sind als + werden nur aufgenommen, wenn noch genügend Studienplätze frei sind.

Das Spektrum der Bachelorstudiengänge, die zum Studium im Master Business Information Systems berechtigen, reicht von wirtschaftlichen bis zu technischen Studiengängen. Neben der Aufnahme in den Studiengang wird daher auch entschieden, ob Studierende Vorleistungen in Form sogenannter Pre-Master erbringen müssen, um fehlende Kompetenzen auszugleichen. Dies erfolgt anhand der Kategorisierung des Bachelorabschlusses.

17.3 Software-Architektur

Das System ist als ausführbares CMMN-Modell des Aufnahmeprozesses (Grudzinska-Kuna 2013; Omg 2013) mit FlowableFootnote 3 realisiert (Abb. 17.2). Flowable ist ein Workflow-Managementsystem, das es erlaubt, Aufgaben an Personen zu delegieren und externe Anwendungen einzubinden. Die Lösung ist als Prototyp realisiert und mit konkreten Daten getestet.

Abb. 17.2
figure 2

CMMN-Modell des Aufnahmeprozesses

Full size image

Die für die Entscheidung über die Aufnahme relevanten Informationen sind in verschiedenen Dokumenten enthalten: ein Formular mit Angaben zur Person, ein Motivationsschreiben, ein Lebenslauf, das Transcript of Record des abgeschlossenen Bachelorstudiengangs und allenfalls Nachweise über Sprachzertifikate oder Zusatzausbildungen. In einem ersten Schritt werden die Anmeldedokumente von der Studiengangassistenz in das System hochgeladen und die relevanten Daten aus den Dokumenten extrahiert und in das System übertragen (Abb. 17.3).

Abb. 17.3
figure 3

Interface für Antragsdaten

Full size image

Flowable unterstützt DMN (Decision Model and Notation) der OMG (Omg 2016). Diese Notation wird verwendet, um die Regeln zu automatisieren. Zudem wird ein externer Service zur Extraktion von Informationen aus dem Lebenslauf integriert.

17.4 Umsetzung der Aufnahmeentscheidung

Abb. 17.4 zeigt das Boxology-Modell (van Harmelen und ten Teije 2019) des Aufnahmeprozesses. Nachdem die Daten erfasst sind, werden fünf Teilentscheidungen durchgeführt:

  1. (a)

    Überprüfung des Bachelorabschlusses: Es wird geprüft, ob der Bachelorabschluss einem der Studiengänge entspricht, die im Studienreglement als Voraussetzung für die Aufnahme in den Studiengang genannt werden. Diese Prüfung wird durch die Studiengangassistenz gemacht. Bei anderen Studiengängen analysiert die Studiengangleitung die Äquivalenz anhand des Transcript of Record.

  2. (b)

    Anerkennung der Hochschule: Für die Hochschule, die den Bachelorabschluss vergeben hat, wird überprüft, ob sie anerkannt ist. Alle bereits bekannten Studiengänge sind in einem System erfasst, aus dem die Beurteilung automatisch bezogen werden kann.

  3. (c)

    Note des Bachelorabschlusses: Die Durchschnittsnote wird, falls aus dem Transcript of Record nicht ersichtlich, bei der Erfassung der Daten berechnet. In diesem Schritt werden ausländische Noten in das Schweizer Notensystem umgerechnet und nach ++, +, 0 und − klassifiziert. Hierfür wird auf eine Formel bzw. bestehende Tabellen zurückgegriffen.

  4. (d)

    Arbeitserfahrung: Aus dem Lebenslauf werden die Art und Dauer der relevanten Arbeitserfahrung extrahiert und nach ++, +, 0 und − klassifiziert. Für die Extraktion wird ein auf maschinellem Lernen basierendes System eingesetzt.

  5. (e)

    Sprachkenntnisse: Bei der Übertragung der Daten aus den Anmeldeunterlagen werden auch die vorhandenen Sprachzertifikate eingetragen. Diese werden dann anhand einer Entscheidungstabelle in den gemeinsamen Europäischen Referenzrahmen für Sprachen umgewandelt.

Abb. 17.4
figure 4

Boxology-Modell des hybriden KI-Systems

Full size image

Nachdem die Anmeldedaten mit den Informationen aus den einzelnen Teilentscheiden ergänzt wurden, wird der Aufnahmeentscheid getroffen. Dafür wird ein Regelsystem eingesetzt, das als Entscheidungstabelle realisiert ist. Sind die relevanten Informationen für die Entscheidung vorhanden, wird die Entscheidung automatisch getroffen. Fehlen Informationen, wird eine Aufgabe in die Aufgabenliste eingetragen, sodass eine Person die fehlenden Beurteilungen vornehmen kann.

Ein Ziel ist es, einerseits einen möglichst großen Teil des Aufnahmeentscheids zu automatisieren und nur in unklaren Fällen einen Menschen zu involvieren. Andererseits soll auch sichergestellt sein, dass Entscheide transparent und nachvollziehbar sind. Daher haben wir mit maschinellem Lernen experimentiert, um zu erkennen, ob eine menschliche Intervention notwendig ist. Dieses gibt neben dem Regelsystem zusätzliche Hinweise für die verantwortlichen Personen, einen Fall näher zu betrachten. Die einzelnen Teilschritte werden in den folgenden Abschnitten beschrieben.

17.4.1 Anerkannte Hochschule

Der Entscheid über die Anerkennung des Bachelorabschlusses wird nicht von der FHNW, sondern von staatlichen Stellen getroffen. Daher ist es die Aufgabe der Studiengangassistenz in vertrauenswürdigen Online-Quellen zu recherchieren, ob die Hochschule, an der der Bachelorabschluss erworben wurde, offiziell anerkannt ist.

Dazu verwendet sie Anabin,Footnote 4 das Infoportal zu ausländischen Bildungsabschlüssen der deutschen Kultusministerkonferenz. Die Klassifikationen H+ und H− kennzeichnen anerkannte bzw. nicht anerkannte Hochschulen. Bei Hochschulen der Kategorie H+/− oder wenn die Hochschule nicht in Anabin enthalten ist, muss genauer recherchiert werden.

Es gibt keine einfachen Regeln, um die Überprüfung zu automatisieren. Auch hilft hier maschinelles Lernen nicht weiter, da man von der (Nicht-)Anerkennung einer Hochschule nicht auf die (Nicht-)Anerkennung einer anderen Hochschule schließen kann. Auch ist die Anerkennung nicht von anderen Daten der Anmeldungen abhängig. Allerdings kann man den Aufwand reduzieren, indem man das Ergebnis der Recherche in Fällen, die in Anabin nicht enthalten sind oder als H+/− klassifiziert sind, in einer Fallbasis speichert. Für zukünftige Fälle, für die Anabin keine Lösung liefert, kann man automatisch nachprüfen, ob die Hochschule in der Fallbasis enthalten ist. Es handelt sich dabei um einen Spezialfall von fallbasiertem Schließen mit einem einfachen Ähnlichkeitsmaß, das lediglich Varianten der Schreibweise berücksichtigt.

17.4.2 Note des Bachelorabschlusses

Kandidat*innen mit einer mindestens guten Note werden direkt aufgenommen. Grundlage für die Bewertung ist das Schweizer Notensystem, in dem „gut“ der Note 5 entspricht. Die Durchschnittsnote wird auf eine Nachkommastelle gerundet. Eine gute Note entspricht dem Rating +, „sehr gut“ oder „exzellent“ entsprechen ++, eine befriedigende oder ausreichende Note entspricht einer 0. Ungenügende Noten können eigentlich nicht vorkommen, da man mit einem Durchschnitt unter 4 in der Regel keinen Abschluss bekommen würde. Tab. 17.1 zeigt die Kriterien für das Rating der Note.

Tab. 17.1 Rating der Bachelorabschlussnoten
Full size table

Die Noten des Bachelorabschlusses sind im Transcript of Records zu finden. Ist die Durchschnittsnote nicht angegeben, wird sie berechnet. Noten einer ausländischen Hochschule werden in das Schweizer Notensystem umgewandelt, wenn sich die Universität, die den Bachelorabschluss vergeben hat, nicht in der Schweiz befindet.

Die Umrechnung in das Schweizer Notensystem ist der schwierigste Teil. Es gibt verschiedene Methoden für diese Umrechnung, wobei eine häufig angewandte Methode die sogenannte bayerische Formel ist. Diese kann an das Schweizer Notensystem angepasst werden. Sie ist für numerische Notensysteme anwendbar und erfordert neben der Eingabe der umzurechnenden Note die Höchstnote des fremden Notensystems und die niedrigste Note, die zum Bestehen ausreicht. Da jedoch die Höchstnote und die niedrigste Bestehensnote benötigt werden, diese aber nicht immer im Transcript of Records enthalten sind, erfordert dies Kenntnisse über die Notenskala der jeweiligen Universität. Ist die Information nicht verfügbar, recherchiert die Studiengangassistenz online. Ein weiterer Nachteil der bayerischen Formel ist, dass sie auf der Annahme beruht, dass die Notenverteilung linear ist, was nicht unbedingt der Fall ist.

17.4.3 Arbeitserfahrung

Die Beurteilung der Arbeitserfahrung basiert auf Informationen im Lebenslauf. Die Beurteilung der Arbeitserfahrung besteht aus zwei Schritten:

  • relevante Berufserfahrung aus dem Lebenslauf extrahieren,

  • die Relevanz und Dauer der Arbeitserfahrung beurteilen und als ++, +, 0 oder − klassifizieren (Tab. 17.2).

Tab. 17.2 Klassifizierung von Berufserfahrung
Full size table

Die Beurteilung der Arbeitserfahrung basiert stark auf Erfahrung und Fachwissen, denn die Beschreibung der Tätigkeit ist nicht normiert. Es kommt auch vor, dass Studiengangsleitung und Stellvertretung die Art oder den Umfang der Tätigkeit zunächst unterschiedlich beurteilen.

Die Komplexität der Beurteilung lässt sich reduzieren, indem man zunächst die Tätigkeiten in generische Kategorien gruppiert und anschließend die Relevanz dieser Kategorien beurteilt. Für diese Klassifikation könnte maschinelles Lernen eingesetzt werden. Allerdings ist das Spektrum relevanter Tätigkeiten so groß und die Bezeichnungen sind so vielfältig, dass die Anzahl unserer Beispiele bei Weitem nicht ausreicht, um ein Modell zu trainieren.

Da es jedoch eine Fülle von Online-Diensten zur Analyse von Lebensläufen gibt, ist die Eigenentwicklung eines solchen Algorithmus auch nicht erforderlich. Wir haben uns für den Lebenslauf-Parser von AffindaFootnote 5 entschieden, aber im Grunde genommen könnte jeder Parser für englischsprachige Lebensläufe verwendet werden, der in der Lage ist, die Berufserfahrung in generische Kategorien einzuteilen.

Affinda verwendet die britische Standard Occupation Classification (SOC), um Stellenbezeichnungen in Standardberufsgruppen zu klassifizieren.

Auf Basis der von Affinda erkannten Tätigkeiten und ihrer Dauer hat man eine Basis für die Kategorisierung der Arbeitserfahrung.

Obwohl Affinda nicht alle Arbeitserfahrungen klassifizieren und auch nicht alle Datumsformate erkennen kann, reduziert es den Aufwand erheblich, da man den Lebenslauf nur noch für diejenigen Fälle anschauen muss, für die keine relevante Tätigkeit von mindestens sechs Monaten erkannt wurde.⁢

17.4.4 Sprachkenntnisse

Für diese Entscheidung müssen zwei Aufgaben durchgeführt werden. Erstens sollten Informationen über das Englischniveau eines Bewerbers aus dem Lebenslauf und dem Sprachzeugnis entnommen werden. Zweitens sollte, wenn ein Sprachzeugnis vorliegt, die Note in das CEFR-Niveau umgerechnet werden, um zu entscheiden, ob das Niveau ausreichend ist, wenn nicht, sollten andere englischsprachige Nachweise ausgewertet werden, um das Niveau zu ermitteln.

Bei der Erfassung der Daten werden folgende Informationen zum Dossier hinzugefügt:

  • Ist die Bewerberin oder der Bewerber englischer Muttersprachler oder hat einen Bachelorabschluss erworben, der vollständig in englischer Sprache durchgeführt wurde, wird das Englischniveau bereits bei der Datenerfassung auf „ausreichend“ gesetzt.

  • Liegt ein Zertifikat oder ein Nachweis über Sprachkenntnisse vor, wird die entsprechende Qualifikation in den Anmeldedaten vermerkt.

Im Schritt (e) wird schließlich entschieden, ob das Englischniveau ausreichend ist oder ob ein Mensch diese Entscheidung treffen sollte. Diese Regeln werden mithilfe einer Entscheidungstabelle repräsentiert (Abb. 17.5).

Abb. 17.5
figure 5

Beurteilung der Sprachkenntnisse

Full size image

17.4.5 Entscheidung über die Aufnahme

Nach der Beurteilung der Kriterien in den Schritten (a) bis (e) wird über die Aufnahme entschieden. Wenn alle relevanten Informationen verfügbar sind und alle Teilentscheide automatisch getroffen werden konnten, wird der Aufnahmeentscheid abgeleitet. Wenn einzelne Kriterien nicht geklärt werden könnten, wird eine Person involviert.

Dieser Schritt kann mithilfe von Regeln realisiert werden, die als Entscheidungstabelle implementiert werden. Abb. 17.6 zeigt einen Ausschnitt der Entscheidungstabelle, bei der Spalten und Zeilen ausgeblendet sind. Es wird die erste Regel angewendet, deren Bedingung erfüllt ist. Dies entspricht der Hit-Policy „First“ (Omg 2016).

Abb. 17.6
figure 6

Entscheidungstabelle für Aufnahmeentscheidung (Ausschnitt)

Full size image

Eine Anmeldung wird abgelehnt, sobald ein Kriterium nicht erfüllt ist. Dementsprechend werden zuerst diejenigen Regeln, die zu einer Ablehnung führen, ausgeführt:

  • Kandidat*innen müssen einen Bachelorabschluss haben,

  • die Hochschule, die den Bachelorabschluss vergeben hat, hat die Anerkennung H−,

  • Arbeitserfahrung oder Note sind mit − eingestuft,

  • die Note ist mit 0 eingestuft, aber nicht durch ++ bei der Arbeitserfahrung kompensiert,

  • die Arbeitserfahrung ist mit 0 eingestuft, aber nicht durch ++ bei der Note kompensiert,

  • der Bachelorabschluss ist nicht äquivalent zu Betriebswirtschaftslehre, Informatik oder Wirtschaftsinformatik (Subject Mismatch) und die Berufserfahrung ist 0.Footnote 6

Danach werden die Fälle geprüft, bei denen weitere Abklärungen zu treffen sind. Das ist dann der Fall, wenn die Beurteilungen in den Schritten (a) bis (e) nicht automatisch durchgeführt werden konnten. Als Ergebnis dieser Regeln wird ein Auftrag an die verantwortliche Person abgeleitet, die in die Aufgabenliste eingetragen wird. Einige Beispiele dafür könnten sein:

  • Hat der Kandidat bzw. die Kandidatin einen anderen Bachelorabschluss als Betriebswirtschaftslehre, Informatik oder Wirtschaftsinformatik, liegt eine fachliche Diskrepanz vor. In diesem Fall muss geprüft werden, ob der Mismatch auf andere Art ausgeglichen wurde, z. B. Weiterbildungen oder Master in einem verwandten Gebiet.

  • Konnte die Arbeitserfahrung oder die Sprachkenntnisse nicht beurteilt werden, wird ein Aufnahmegespräch geführt.

Sollte keine der Regeln zur Ablehnung oder zusätzlichen Beurteilung greifen, kann davon ausgegangen werden, dass alle Kriterien erfüllt sind und der Kandidat bzw. die Kandidatin aufgenommen werden kann.

17.4.6 Überprüfung von Entscheidungen

Um zu erkennen, welche Entscheide von der Studiengangsleitung geprüft werden müssen, haben wir mit maschinellem Lernen experimentiert. Dazu wurden Daten sowohl von abgelehnten als auch von aufgenommenen Bewerbern verwendet, die im Zeitraum von Februar 2022 bis September 2023 (also über drei Semester) gesammelt wurden und insgesamt 321 Bewerbungen umfassten. Für jede Bewerbung wurden in unseren Experimenten folgende Attribute berücksichtigt: (1) gewünschtes Studienmodell (Vollzeit oder Teilzeit), (2) Bachelorabschluss (z. B. Business Administration, Computer Science), (3) Name der Universität, die den Bachelorabschluss verliehen hat, (4) Land dieser Universität, (5) Abschlussnote, (6) ein Attribut, das angibt, ob die Note eindeutig umgerechnet werden konnte oder nicht, (7) Berufserfahrung in Monaten, (8) ein Attribut, das angibt, ob die Berufserfahrung eindeutig berechnet werden konnte oder nicht, (9) Art des Englischzertifikats, (10) Staatsangehörigkeit, (11) Wohnort, (12) ein Attribut, das angibt, ob ein Visum benötigt wird, und (13) eine optionale Bemerkung, die teilweise von der Assistentin erfasst wurde.

Da wir die Rolle des maschinellen Lernens in diesem Prozess darin sehen zu entscheiden, welche Bewerbungen nicht vom Studiengangsleitenden und seinem Stellvertreter geprüft werden müssen, haben wir ein Klassenattribut für die gegebenen Daten konstruiert, das auf dem Vorhandensein eines vom Studiengangsleitenden oder seinem Stellvertreter eingefügten Kommentars basiert. Ein Kommentar wird in der Regel nur erfasst, wenn eine Bewerbung diskutiert werden muss oder eine Besonderheit aufweist. Daher ist die Vorhersage des Vorhandenseins eines Kommentars gleichbedeutend mit der Vorhersage, ob eine Bewerbung geprüft werden muss. Bei der Auswahl der Attribute (siehe oben) haben wir zunächst auch solche mit eingeschlossen, deren Vorhersagekraft zweifelhaft scheint (beispielsweise das gewünschte Studienmodell), da sich solche Vorhersagekraft manchmal auch überraschend herausstellen kann. Die meisten Attribute schätzten wir aber als hilfreich ein – insbesondere auch die Attribute (6) und (8), welche auf Unsicherheiten hinweisen, die von der Studiengangsleitung nochmals angesehen und beurteilt werden sollten.

Anschließend führten wir Experimente mit verschiedenen Algorithmen für maschinelles Lernen in der Weka Workbench (Frank et al. 2010) durch. Wir verwendeten einige menschenlesbare Modelle, um die den Vorhersagen zugrunde liegenden Muster zu verstehen, und setzten auch einige nicht interpretierbare Algorithmen ein, um ein Verständnis für die Leistungsgrenzen des Ansatzes zu gewinnen. Darüber hinaus arbeiteten wir mit kostensensitiver Klassifizierung (Domingos 1999), um die Klassifikatoren für Fälle zu sensibilisieren, die eine Überprüfung verdienen – wobei wir eine falsch-negative Vorhersage zehnmal stärker bestraften als eine falsch-positive. Unsere Ergebnisse lassen sich wie folgt zusammenfassen:

  • Mit einem Random-Forest-Modell (unserem besten Kandidaten) erreichen wir eine Genauigkeit (Accuracy) von 81 %, die Area Under the Curve (AUC) liegt bei 0,72. Betrachtet man die gekennzeichneten Bewerbungen, so findet das Modell nur 11 von 68 diskussionswürdigen Fällen, d. h., es hat einen Recall von 16 %. Dies wäre in der Praxis nicht sehr hilfreich.

  • Durch die Anwendung des kostensensitiven Lernens erhöht sich die Trefferquote auf 78 % (53 von 68 diskussionswürdigen Fällen werden identifiziert), die Genauigkeit sinkt jedoch von 73 % auf 34 %, d. h., es gibt 101 „Fehlalarme“. Selbst wenn man für dieses Verfahren einen Recall von nur etwa 80 % akzeptiert, ist unklar, ob ein Modell mit dieser Performance von praktischem Wert wäre.

  • Durch die manuelle Überprüfung einiger falsch-negativer Fälle, die auch bei kostensensitivem Lernen bestehen blieben, konnten wir jedoch einige zusätzliche Attribute identifizieren, die man aus den Bewerbungsunterlagen extrahieren könnte mit guten Chancen, weitere diskussionswürdige Bewerbungen zu identifizieren. Diese Attribute umfassen die Information, ob ein Bewerber bereits für einen Master of Science in der Schweiz immatrikuliert war, und die Anzahl der Jahre seit dem Bachelorabschluss.

  • Bei der Analyse von falsch-positiven Vorhersagen zeigte sich, dass insbesondere die Attribute „Note“ und „Visum“ zu solch falschen Entscheiden geführt haben. Bei der Note hat sich die Handhabung im betrachteten Zeitraum leicht verändert, was diese Schwierigkeiten teilweise erklären kann (wenn mehr Trainingsdaten ab 2023 vorliegen, sollten daher nur noch diese verwendet werden). Wenn ein Visum benötigt wird, führt dies häufig zu einem Interview, um das Vorhandensein des Visums zu klären. Dies ist aber nicht immer der Fall und die entsprechenden Abweichungen scheinen recht schwer vorherzusagen zu sein.

  • Bei der Untersuchung menschenlesbarer Modelle war einer der Hauptindikatoren für die Kennzeichnung einer Bewerbung das Vorhandensein des Wortes „bezahlt“ im Bemerkungsfeld. Entfernt man das entsprechende Attribut (das nicht viel Sinnvolles beiträgt), so stellt man fest, dass weitere Einträge markiert werden, wenn die Berufserfahrung entweder zu niedrig oder zu hochFootnote 7 ist, wenn ein Visum benötigt wird oder wenn die Note unter einem bestimmten Schwellenwert liegt. All diese Kriterien sind intuitiv sinnvoll, da sie oft zu weiteren Nachforschungen oder Rückfragen führen. Sie setzen jedoch voraus, dass eine Bewertung der Berufserfahrung oder der Note bereits stattgefunden hat.

Die Qualität der Vorhersagen ist bei allen Verfahren eher gering. Man könnte sie als zusätzlichen Hinweis verwenden, um das Risiko zu reduzieren, dass ein Fall automatisch entschieden wird, für den eine tiefere Analyse sinnvoll wäre.

Als Alternative zum maschinellen Lernen haben wir auch mit der Nutzung von Ontologien und Technologien des Semantic Web experimentiert (Abb. 17.7).

Abb. 17.7
figure 7

Ausschnitt aus der Ontologie zum Aufnahmeprozess (Eichele 2022)

Full size image

Die Nutzung von Ontologien hat den Vorteil, dass Regeln, die auf Klassendefinitionen basieren, ausdrucksstärker sind als Regeln in Entscheidungstabellen. Das kann man zum Beispiel bei der Beurteilung relevanter Arbeitserfahrung und der Äquivalenz von Studiengängen einsetzen, indem man die Themen in einer Ontologie abbildet und Regeln definiert, die das Vorkommen von relevanten Themen im Curriculum überprüfen. Als nächster Schritt soll die Ontologie in das System eingebunden werden, um zu schauen, ob die Vorteile sich in der konkreten Anwendung tatsächlich als nützlich erweisen.

17.5 Empfehlungen

Für zukünftige, ähnliche Projekte möchten wir folgende Empfehlungen aussprechen:

  • Die Aufgabe des KI-Systems besteht darin, zu entscheiden, wann ein Mensch eingebunden werden sollte.

  • Um automatisch abschließend zu entscheiden, ob Kandidaten*innen für ein Studium aufgenommen werden sollten, eignen sich Regeln am besten. Maschinelles Lernen ist für diesen Zweck nicht optimal geeignet.

  • Menschenlesbare Modelle des maschinellen Lernens können jedoch dabei unterstützen, Aspekte in einer Bewerbung zu erkennen, die besonderer Aufmerksamkeit bedürfen, wie zum Beispiel fehlende Arbeitserfahrung.

  • Maschinelles Lernen, insbesondere Large Language Models, zeigt Potenzial bei der Extraktion von Attributwerten (z. B. aus einem Lebenslauf).

  • Um Regeln elegant zu erfassen und transparent auszuwerten, empfiehlt es sich, das Domain-Wissen in einer Ontologie abzubilden.

17.6 Fazit

Diese Arbeit beschreibt eine Anwendung für hybride Intelligenz, die auf der Interaktion von Mensch und KI basiert. Die Methoden der KI dienen als Werkzeuge für die Vorbereitung einer Entscheidung. So kann die Beurteilung, ob eine Arbeitserfahrung für das Studium relevant ist, durch KI unterstützen, indem man die Tätigkeiten automatisch klassifiziert und die Klassen nach ihrer Relevanz für den Studiengang bewerten kann. Dies führt zu einer spürbaren Erleichterung der Aufgabe der Studiengangassistenz. Allerdings kann der Mensch nicht vollständig ersetzt werden. Einerseits basieren Teile der Beurteilungen auf Einschätzungen und Erfahrungen, die nicht maschinell gelernt werden können, weil nicht ausreichend Daten vorhanden sind, um alle potenziellen Situationen abzudecken. Ein Beispiel hierfür ist die Umrechnung der Noten. Diese könnten prinzipiell gelernt werden, wozu aber genügend Beispieldaten für jedes Notensystem benötigt würden. Für diese Umrechnung kann man Regeln angeben. Schließlich gibt es Aspekte, deren Umsetzung aus Gründen des Aufwands nicht sinnvoll ist. Ein Beispiel hierfür ist die Überprüfung, ob eine Hochschule anerkannt ist. Es wäre prinzipiell möglich, diese Informationen zu sammeln und auch automatisch zugänglich zu machen. Allerdings können, wie Anabin zeigt, die Vollständigkeit und Korrektheit nicht sichergestellt werden, da es hier immer wieder zu Änderungen kommt. Aus diesen Gründen ist es notwendig, Menschen zu involvieren. Eine Aufgabe für das KI-System ist es dabei, zu erkennen, in welchen Situationen dies geschehen soll. Auch dies wurde in dem beschriebenen Vorgehen realisiert, sowohl durch explizite Regeln als auch unter Nutzung von maschinellem Lernen.

Das System wurde als Workflow mit dem System Flowable umgesetzt, welches es erlaubt, Aufgaben sowohl an Menschen zu delegieren als auch zu automatisieren. Dies hat die Auswahl der Methoden beeinflusst. Insbesondere wurden die Regelkomponenten durch DMN-Entscheidungstabellen umgesetzt, die im Workflow-System bereits integriert sind.