MIT-Algorithmus entdeckt subtile Verbindungen zwischen großen Kunstwerken und KI

Das MIT und Microsoft haben einen KI-Algorithmus entwickelt, der ungesehene Verbindungen zwischen sehr unterschiedlichen Kunstwerken herstellt.

MIT Mosaik Algorithmus
Zusammenhang zwischen Kunst und Künstlicher Intelligenz

Ein neuer Algorithmus von MIT-Forschern mit dem Namen „MosAIc“ entdeckt interessante, aber zutiefst entscheidende Ähnlichkeiten zwischen Kunstwerken, die in großen Museen in New York City und Amsterdam ausgestellt sind, so ein Blog-Post, der im MIT-Labor für Informatik und künstliche Intelligenz veröffentlicht wurde.

Diese Art von KI könnte uns sogar helfen, die Grenzen generativer kontradiktorischer Netzwerke (GAN) auszudrücken.

Neues KI-System findet subtile Verbindungen zwischen großen Kunstwerken

Das neue vom MIT gebaute System deckt unbemerkte Ähnlichkeiten zwischen den Kunstwerken auf, die im New Yorker Metropolitan Museum of Art (MET) und im Amsterdamer Rijksmuseum ausgestellt sind. MosAIc scannt ein Bild ein und nutzt dann tiefe Netzwerke, um Ähnlichkeiten zwischen verschiedenen Kunstwerken über verschiedene Kulturen, Medien und Künstler hinweg zu finden – bisher unentdeckt, berichtet Engadget.

In einem Beispiel fand MosAIc eine Verbindung zwischen Jan Asselijns „Der bedrohte Schwan“ von Jan Asselijn und Francisco de Zurbaráns „Das Martyrium des Heiligen Serapion“. Ein CSAIL-Doktorand des MIT namens Mark Hamilton, der Hauptautor einer Arbeit über das MosAIc-Projekt war, sagte, dass er eine Verbindung zwischen Jan Asselijns „The Threatened Swan“ und Francisco de Zurbaráns „The Martyrdom of Saint Serapion“ gefunden habe: „Diese beiden Künstler hatten keine Korrespondenz oder Begegnungen während ihres Lebens, doch ihre Gemälde deuteten auf eine reiche, latente Struktur hin, die ihren beiden Werken zugrunde liegt.

Microsoft, MIT-Entwurf MosAIC-System

Microsoft beteiligte sich zusammen mit dem CSAIL Laboratory des MIT an der Gestaltung von MoSAIc – das von der Ausstellung „Rembrandt und Velazquez“ im Rijksmuseum inspiriert wurde, die kuratiert wurde, um Gemälde zu paaren, die unterschiedlich aussehen könnten, aber durch einen interpretativen oder kritischen Stil eine tiefere Verbindung teilen, berichtet The Next Web.

Die Forscher stellen eine Frage wie „Welches Musikinstrument kommt diesem Gemälde eines blau-weißen Kleides am nächsten? Für dieses Beispiel antwortete der Algorithmus mit einer Geige in Blau und Porzellan, die den Forschern half, einen kulturellen Austausch zwischen Chinesen und Niederländern herzustellen.

KI, die auf Farbe, Stil, Bedeutung, Thema abgestimmt ist

In mancher Hinsicht unterscheidet sich MosAIc nicht von Googles Experiment der X-Grad-Trennung, bei dem durch eine Reihe von Gemälden Verbindungen zwischen zwei Bildern oder Kunstwerken hergestellt wurden. Aber MosAIc übertrifft dies noch, weil es nur ein Bild benötigt, um ähnliche stilistische Designs in anderen Bildern zu finden. Der neue Algorithmus verwendet Eingabebilder, um Werke aus verschiedenen Kulturen zusammenzuführen.

Die Erstellung des Algorithmus war eine Herausforderung, da das Ziel der Bildübereinstimmung laut Hamilton nicht nur auf der Grundlage ähnlicher Farben und Stile, sondern auch auf der Grundlage von Thema und Bedeutung funktionieren musste. Die vollständige Abhandlung über den Algorithmus ist hier verfügbar.

KI-Kunstvergleiche könnten die Grenzen der GAN ausloten

Er und seine Kollegen verwendeten eine neuartige KNN-Datenstruktur (K-Nearest Neighbor), die ähnliche Bilder über eine baumähnliche Figur verbindet, und sie bewegten sich durch die ästhetische Struktur, bis sie das nächstliegende Ergebnis entdeckten. Dann wandten sie den Algorithmus auf die kombinierten frei zugänglichen Kunstwerke des Rijksmuseums und des MET an.

Die Forscher entdeckten auch, dass diese KI-Methode den Wissenschaftlern helfen kann, die Grenzen von GAN (Generative Adversarial Network) auf der Basis von Deepfake-Algorithmen zu finden – und wo sie versagen. Es ist jedoch noch unklar, ob der Algorithmus dabei helfen kann, Deepfakes vom echten Kunstgegenstand zu unterscheiden.