Künstliche Intelligenz Neuronales Netzwerk lernt, wann man ihm nicht trauen sollte.

0

Ein schnellerer Weg zur Schätzung der Unsicherheit bei AI-unterstützten Entscheidungen könnte zu sichereren Ergebnissen führen.

In zunehmendem Maße werden Systeme künstlicher Intelligenz, die als tief lernende neuronale Netze bekannt sind, eingesetzt, um Entscheidungen zu treffen, die für die menschliche Gesundheit und Sicherheit von entscheidender Bedeutung sind, z.B. beim autonomen Fahren oder bei der medizinischen Diagnose. Diese Netzwerke sind gut in der Lage, Muster in großen, komplexen Datensätzen zu erkennen, um die Entscheidungsfindung zu unterstützen. Aber woher wissen wir, dass sie korrekt sind? Alexander Amini und seine Kollegen am MIT und an der Harvard University wollten es herausfinden.

Sie haben eine schnelle Methode entwickelt, mit der ein neuronales Netz Daten zerkleinern kann und nicht nur eine Vorhersage, sondern auch das Vertrauensniveau des Modells auf der Grundlage der Qualität der verfügbaren Daten ausgibt. Der Fortschritt könnte Leben retten, da tief greifendes Lernen bereits heute in der realen Welt eingesetzt wird. Der Sicherheitsgrad eines Netzwerks kann den Unterschied ausmachen zwischen einem autonomen Fahrzeug, das feststellt, dass “alles klar ist, um über die Kreuzung zu fahren”, und “es ist wahrscheinlich klar, also halten Sie für alle Fälle an”.

Die derzeitigen Methoden der Unsicherheitsschätzung für neuronale Netze sind in der Regel rechenintensiv und relativ langsam für Entscheidungen im Bruchteil einer Sekunde. Aber der Ansatz von Amini, der als “tiefe beweiskräftige Regression” bezeichnet wird, beschleunigt den Prozess und könnte zu sichereren Ergebnissen führen. “Wir brauchen die Fähigkeit, nicht nur hochleistungsfähige Modelle zu haben, sondern auch zu verstehen, wann wir diesen Modellen nicht vertrauen können”, sagt Amini, ein Doktorand in der Gruppe von Professor Daniela Rus am MIT-Labor für Informatik und künstliche Intelligenz (CSAIL).

“Diese Idee ist wichtig und auf breiter Ebene anwendbar. Sie kann verwendet werden, um Produkte zu bewerten, die sich auf gelernte Modelle stützen. Durch die Schätzung der Unsicherheit eines gelernten Modells lernen wir auch, wie viel Fehler von dem Modell zu erwarten sind und welche fehlenden Daten das Modell verbessern könnten”, sagt Rus.

Amini wird die Forschungsergebnisse auf der NeurIPS-Konferenz im nächsten Monat zusammen mit Rus, dem Andrew und Erna Viterbi-Professor für Elektrotechnik und Informatik, Direktor des CSAIL und stellvertretenden Forschungsdekan des MIT Stephen A. Schwarzman College of Computing, sowie den Doktoranden Wilko Schwarting vom MIT und Ava Soleimany vom MIT und Harvard vorstellen.

Effiziente Unsicherheit

Nach einer wechselvollen Geschichte hat tiefes Lernen bei einer Vielzahl von Aufgaben bemerkenswerte Leistungen gezeigt, die in einigen Fällen sogar die menschliche Genauigkeit übertreffen. Und heutzutage scheint tiefes Lernen überall dorthin zu gehen, wo Computer hingehen. Es treibt Suchmaschinenergebnisse, Social Media Feeds und Gesichtserkennung an. “Wir haben mit dem Einsatz des Tiefenlernens große Erfolge erzielt”, sagt Amini. “Neuronale Netzwerke sind in 99 Prozent der Fälle wirklich gut darin, die richtige Antwort zu wissen. Aber 99 Prozent werden es nicht schaffen, wenn Leben auf dem Spiel stehen.

“Eine Sache, die den Forschern entgangen ist, ist die Fähigkeit dieser Modelle, zu wissen und uns zu sagen, wann sie falsch sein könnten”, sagt Amini. “Dieses eine Prozent der Zeit ist uns wirklich wichtig, und wie wir diese Situationen zuverlässig und effizient erkennen können.

Neuronale Netze können massiv sein und manchmal mit Milliarden von Parametern überquellen. Es kann also ein schwerer rechnerischer Kraftakt sein, nur um eine Antwort zu erhalten, geschweige denn ein Vertrauensniveau. Die Unsicherheitsanalyse in neuronalen Netzen ist nicht neu. Aber frühere Ansätze, die auf Bayes’sches Tiefenlernen zurückgehen, haben sich darauf verlassen, dass ein neuronales Netz viele Male ausgeführt oder Stichproben entnommen wurden, um sein Vertrauen zu verstehen. Dieser Prozess erfordert Zeit und Speicherplatz, ein Luxus, den es im Hochgeschwindigkeitsverkehr vielleicht nicht gibt.

Die Forscher entwickelten eine Methode, um die Unsicherheit aus nur einem einzigen Lauf des neuronalen Netzes abzuschätzen. Sie entwarfen das Netzwerk mit einer gebündelten Ausgabe, die nicht nur eine Entscheidung, sondern auch eine neue probabilistische Verteilung erzeugt, die die Beweise zur Unterstützung dieser Entscheidung erfasst. Diese Verteilungen, die als beweiskräftige Verteilungen bezeichnet werden, erfassen direkt das Vertrauen des Modells in seine Vorhersage. Dies schließt jegliche Unsicherheit ein, die in den zugrunde liegenden Eingabedaten sowie in der endgültigen Entscheidung des Modells vorhanden ist. Diese Unterscheidung kann ein Signal dafür sein, ob die Unsicherheit durch eine Feinabstimmung des neuronalen Netzes selbst reduziert werden kann oder ob die Eingabedaten nur verrauscht sind.

Vertrauensüberprüfung

Um ihren Ansatz auf die Probe zu stellen, begannen die Forscher mit einer herausfordernden Computer-Vision-Aufgabe. Sie trainierten ihr neuronales Netzwerk, ein monokulares Farbbild zu analysieren und für jedes Pixel einen Tiefenwert (d.h. den Abstand vom Kameraobjektiv) zu schätzen. Ein autonomes Fahrzeug könnte ähnliche Berechnungen verwenden, um seine Nähe zu einem Fußgänger oder zu einem anderen Fahrzeug abzuschätzen, was keine einfache Aufgabe ist.

Die Leistung ihres Netzwerks entsprach dem Stand der Technik früherer Modelle, aber es gewann auch die Fähigkeit, seine eigene Unsicherheit abzuschätzen. Wie die Forscher gehofft hatten, projizierte das Netzwerk eine hohe Unsicherheit für Pixel, bei denen es die falsche Tiefe vorhersagte. “Es war sehr auf die Fehler kalibriert, die das Netzwerk macht, was unserer Meinung nach eines der wichtigsten Dinge bei der Beurteilung der Qualität eines neuen Unsicherheitsschätzers war”, sagt Amini.

Um ihre Kalibrierung unter Belastung zu testen, zeigte das Team auch, dass das Netzwerk höhere uncerta

Share.

Leave A Reply