Schlaue Schachprogramme und schwarze Schachteln

Beim Reinforcement Learning kann ein sogenannter Agent – in der Regel eine Software – zwischen verschiedenen Handlungen in einer echten oder simulierten Umgebung wählen. Nach jeder Handlung erhält dieser eine Rückmeldung zum Zustand der Umgebung und ggf. eine Belohnung. Am Beispiel eines Schachspiels kann man sich diesen Ablauf verdeutlichen (Abbildung 1).

Die Software (Agent) führt einen Zug aus (Handlung). Dies verändert die Stellung auf dem Schachbrett (Umgebung). Über diese Veränderung wird die Software informiert (Zustandsinformation) und ebenfalls darüber, ob sich ihre Stellung verschlechtert oder verbessert hat. Grundsätzlich ist sie so programmiert, dass sie immer den letzteren Fall anstrebt (Belohnung).

Vielleicht erinnern sich manche Leser an die Schachwettkämpfe der IBM-Software Deep Blue gegen den damaligen Schachweltmeister Garri Kasparow in den 1990er Jahren. Die Software musste damals darauf hin programmiert werden, welche Züge vielversprechend und wie bestimmte Stellungen zu bewerten sind. Die Software AlphaZero hat dagegen vor einigen Jahren erfolgreich Schachspielen gelernt, indem sie allein durch Kenntnis der Spielregeln hunderttausende Partien gegen sich selbst gespielt hat. Dadurch hat sie selbstständig gelernt, welche Züge in welchen Situationen zum Erfolg führen.

Angewendet auf den Arbeitsalltag in einer Apotheke lassen sich aus diesen Überlegungen folgende Fragen ableiten:

• Wissen meine Mitarbeiter, welche Optionen sie in bestimmten Situationen (z. B. beim Einkauf) haben?
• Wissen meine Mitarbeiter, welche Auswirkungen ihre Handlungen in bestimmten Situationen haben? (Stichwort kumulative Großhandels-Rabatte vs. Direktbezug)
• Werden meine Mitarbeiter für Handlungen mit positiven Auswirkungen belohnt?

Beim Deep Learning kommen künstliche Neuronale Netze (KNN) mit mehreren Schichten zum Einsatz. Analog zum Supervised Learning (vgl. KI-Artikel Teil 1 im AWA 10/2023, S. 9 f.) wird das KNN mit Ausprägungen von Input- und Output-Variablen trainiert, sodass es Output-Größen vorhersagen kann. Dabei besteht jede Schicht aus mehreren Neuronen, die ähnlich wie im menschlichen Gehirn über Synapsen (gewichtete Verbindungen) miteinander verbunden sind, deren Stärke beim Training angepasst wird. Abbildung 2 zeigt ein einfaches KNN, das neben der Input- und Output-Schicht nur über eine weitere Schicht mit fünf Neuronen verfügt.

In ein solches KNN könnten beispielsweise von 100 Kunden die jeweiligen Ausprägungen ihrer Input-Variablen (Alter, Geschlecht, Warenkorbumfang etc.) und Output-Variable (Weiterempfehlung) eingegeben werden. Das KNN würde dann – je nach Stärke des Einflusses der einzelnen Input-Variablen auf die Output-Variable – die Gewichte der Verbindungen anpassen. Im Endeffekt sollten diese Gewichte so eingestellt sein, dass im Durchschnitt über die 100 Kunden möglichst genau die Ausprägung der Output-Variable anhand der Ausprägungen der jeweiligen Input-Variablen vorhergesagt werden kann.

In der Praxis arbeitet man mit deutlich komplexeren KNN, z. B. bei der Bilderkennung. Hier sind die Input-Variablen die Positionen der einzelnen Pixel eines Bildes, während die Output-Variable beispielsweise den Namen des auf dem Bild abgebildeten Tieres darstellt. Das Deep-Learning-Netzwerk lernt anhand der Position der Pixel zu erkennen, wann es sich um einen Hund und wann um eine Katze handelt. In einem solchen Netzwerk mit Millionen von Neuronen und Gewichten ist der Einfluss einzelner Input-Variablen auf die Output-Variable allerdings nicht mehr ohne weiteres nachvollziehbar, sodass hier von einer „Black Box“ gesprochen wird.

Abgeleitet vom Black-Box-Verhalten von Deep-Learning-Netzwerken können sich Apotheker folgende Fragen stellen:

• Bin ich für meine Mitarbeiter eine Black Box?
• Kennen meine Mitarbeiter die Beweggründe für meine Entscheidungen?

Anhand von vier KI-Methoden haben wir uns inspirieren lassen. Tabelle 1 zeigt dies in der Übersicht.

Tab. 1: Vier KI-Methoden und deren Einsatz in der Apothekenpraxis

Auf einen Punkt möchten wir noch besonders hinweisen. Ohne geeignete Daten kann kein Machine Learning funktionieren und damit auch keine Künstliche Intelligenz trainiert werden. Deshalb besteht die Arbeit eines Data Scientist zum Hauptteil nicht in der Optimierung revolutionärer KI-Modelle, sondern in der der Gewinnung und Aufbereitung von Daten.

Deshalb sollten Sie sich abschließend noch folgende zwei Fragen stellen:

1. Welche Daten habe ich, nutze sie aber nicht?

Kennen Sie beispielsweise den Erfolg Ihrer Rabattaktionen? Wissen Sie, welche Artikel den höchsten Rohertrag bringen? Wissen Sie, wie hoch die Lagerumschlagsgeschwindigkeit einzelner Artikel ist? All dies sind Daten, über die Sie bereits verfügen und die Sie einfach nutzen können!

2. Welche Daten nutzen mir, die ich noch nicht habe?

Wissen Sie beispielsweise, wie zufrieden ihre Kunden sind und ob diese Ihre Apotheke weiterempfehlen würden? Kennen Sie das Verhalten Ihrer Wettbewerber? Welche Aktionen fahren diese und welche Preise haben deren Ankerprodukte?

Dr. Christian Knobloch, Leiter der Forschungsstelle für Apothekenwirtschaft, Universität Duisburg-Essen, 45141 Essen, E-Mail: christian.knobloch@uni-due.de

Prof. Dr. Hendrik Schröder, Lehrstuhl Marketing und Handel, Universität Duisburg-Essen, 45141 Essen, E-Mail: hendrik.schroeder@uni-due.de