Heutzutage wird KI eingesetzt, um alle möglichen Ereignisse von öffentlichem Interesse vorherzusagen, z. B. den Ausgang von Wahlen, College-Basketballspiele und sogar Dinge wie die Frage , wer in Game of Thrones sterben wird. Es gibt auch Algorithmen für maschinelles Lernen, die die Gewinner der Oscar-Verleihung vorhersagen, und ich habe kürzlich ein solches Modell, das ich in den letzten Jahren verfeinert und betrieben habe, auf die Probe gestellt. Am 27. März 2022 wurden die Gewinner der 94. Oscar-Verleihung bekannt gegeben, also lassen Sie uns einen tiefen Einblick in die Ergebnisse nehmen und die Leistung des Modells bewerten.
Das Modell kann verwendet werden, um den Gewinner von sechs Oscar-Kategorien vorherzusagen: Bester Film, Beste Regie, Beste Schauspielerin, Bester Schauspieler, Beste Nebendarstellerin und Bester Nebendarsteller.
Im Jahr 2022 konnte es fünf dieser sechs Kategorien richtig einordnen, darunter auch den Sieg von Will Smith für King Richards.
Oscar-Vorhersagen 2022
Es kann aufschlussreich und interessant sein, sich auf die Fälle zu konzentrieren, die ein KI-Modell nicht richtig klassifiziert hat. Im Fall der Oscar-Verleihung 2022 ist dies die Kategorie "Bester Film", in der das Modell den Sieg von "The Power of the Dog" vorhersagte. Am Ende war es Apples CODA, der den Preis für den besten Film gewann.
Erklärbare AI
Im Falle komplizierter KI-Modelle können solche Fragen schwer zu beantworten sein. Glücklicherweise sind wir bei DAIN Experten für erklärbare KI, d.h. eine Familie von Methoden, die die Ergebnisse von maschinellen Black-Box-Lernmodellen für Menschen verständlich machen können. Die folgenden Visualisierungen wurden mit DAINs eigener XAI-Bibliothek erstellt.
Bevor wir in die Details eintauchen, möchte ich die Grundlagen des maschinellen Lernmodells erläutern, das zur Vorhersage der Oscar-Gewinner verwendet wurde. Um das Modell zu trainieren, habe ich IMDB und Rotten Tomatoes verwendet, um Informationen über Filme zwischen 1960 und 2022 zu sammeln. Die Merkmale des Modells lassen sich in drei Kategorien einteilen: Merkmale des Films selbst, Oscar-Statistiken und die Ergebnisse anderer Preisverleihungen der Saison.
Zu den Filmmerkmalen gehören das Genre, das Ansehen in der Öffentlichkeit (gemessen an der IMDB-Bewertung und der Rotten Tomatoes-Publikumsbewertung), das Ansehen bei den Kritikern (gemessen an der Rotten Tomatoes-Kritikerbewertung), das Erscheinungsquartal und die MPAA-Bewertung.
Die zweite Kategorie von Merkmalen nenne ich Oscar-Statistiken. Das sind Informationen, die wir einfach aus den (historischen) Nominierungen ablesen können. Zum Beispiel wird der Preis für den besten Film selten an einen Film vergeben, dessen Regisseur nicht für die beste Regie nominiert war. Das letzte Mal war dies bei Green Book im Jahr 2019 der Fall, und in der Geschichte der Oscar-Verleihung kam dies nur drei Mal davor vor. Das umgekehrte Verhältnis ist sogar noch stärker: Das letzte Mal, dass die beste Regie an den Regisseur eines Films ohne Nominierung für den besten Film vergeben wurde, war 1929. Filme mit einer höheren Gesamtzahl an Nominierungen haben auch eine höhere Gewinnchance in den sechs von mir untersuchten Kategorien. Dieses Jahr hatte The Power of the Dog die meisten Nominierungen (12), gefolgt von 10 Nominierungen für Dune und 7 für Belfast.
Auch die Ergebnisse (und Nominierungen) anderer Preisverleihungen spielen eine wichtige Rolle. Die Oscar-Verleihung ist die letzte Show der Preisverleihungssaison und wird daher von ähnlichen Preisverleihungen wie den Golden Globes und den BAFTA sowie von einigen kategoriespezifischen Preisen wie dem Screen Actors Guild Award begleitet. Sehr oft erhalten dieselben Filme, Regisseure und Schauspieler diese Preise, so dass die Ergebnisse dieser Oscar-Vorläufer sehr wichtige Prädiktoren in den Modellen sind.
Grundlegende XAI-Plots
Um genau herauszufinden, wie wichtig jede dieser Variablen ist, können wir einen Blick auf eine der grundlegendsten XAI-Darstellungen werfen: die Merkmalswichtigkeitsdarstellung. Dieses Diagramm zeigt, wie viel jede Variable im Durchschnitt zu den Vorhersagen beiträgt. Wir können sehen, dass der DGA-Gewinn die bei weitem wichtigste Variable ist. DGA steht für Directors Guild of America, und der DGA Award wird jährlich an einen Regisseur verliehen. Das zweitwichtigste Merkmal ist die Kategorie "Bestes Drama" bei der Verleihung des Golden Globe.
Wie wir sehen können, lautet die Antwort ziemlich genau "je mehr, desto besser", aber es scheint einen Sprung in der Gewinnwahrscheinlichkeit bei etwa 8 Vorhersagen zu geben. Partielle Abhängigkeitsdiagramme können nützlich sein, aber sie können auch unzuverlässig sein, wenn wir die Reaktion von korrelierten Merkmalen betrachten. Zum Beispiel sind Filmbewertungen korreliert. Wenn man sich die partielle Abhängigkeitsdarstellung für die Rotten Tomatoes-Publikumsbewertung und die Kritikerbewertung einzeln anschaut, erfährt man nicht die ganze Geschichte. In diesem Fall ist es besser, die partiellen 2D-Abhängigkeiten zu betrachten. Die nächste Grafik zeigt eine solche 2D-Teilabhängigkeitsgrafik, bei der die vertikale und die horizontale Achse die beiden Rotten Tomatoes-Bewertungen darstellen und die Farben der Grafik die Gewinnwahrscheinlichkeit bei diesen Bewertungen zeigen.
Aus diesem Diagramm lässt sich ablesen, dass Filme mit einer sehr guten Publikums- und Kritikerbewertung und Filme mit einer niedrigeren Kritikerbewertung, aber einer sehr hohen Publikumsbewertung die größten Chancen auf einen Oscar für den besten Film haben.
CODA hingegen, der außer dem SAG Award für die herausragende Darbietung eines Darstellers keine weiteren wichtigen Auszeichnungen erhielt, ist eine Komödie und hat insgesamt viel weniger Oscar-Nominierungen als The Power of the Dog. Außerdem wurde CODA nicht für den Preis für die beste Regie nominiert. Wie bereits erwähnt, ist die Verbindung zwischen einem Sieg für den besten Film und einer Nominierung für die beste Regie ein sehr starkes Signal in den Daten - 2022 ist erst das fünfte Mal, dass diese Ausnahme in der Geschichte der Oscars auftritt.
Nachdem wir uns alle Interpretationsdiagramme des Modells angesehen haben und einzelne Vorhersagen betrachten konnten, verstehen wir nun besser, wie unser Modell Vorhersagen trifft und worauf wir in Zukunft achten müssen. Hoffentlich haben wir auch ein besseres Verständnis für die Faktoren, die die Chancen eines Films auf einen Academy Award beeinflussen.