Was ist Deep Learning?

Definition

Das Konzept von Deep Learning ist relativ einfach. Die Idee ist, einfache Funktionen miteinander zu kombinieren, um komplexe Funktionen anzunähern und damit komplexe Entscheidungen treffen zu können. Einzelne Informationen aus den Eingangsdaten werden in aufeinanderfolgenden Abstraktionsebenen, sog. Schichten, Schritt für Schritt verarbeitet. Dies erledigen die Bausteine der Schichten, die sogenannten Neuronen. Die Neuronen nehmen die Information aus der vorherigen Schicht auf, verarbeiten sie und leiten sie dann an die nachfolgende Schicht weiter. Deep Learning bedeutet nun, dass man die Verknüpfung von Neuronen, d.h. wie die Information weitergeleitet wird, aus Beispieldaten lernt. Diese Hierarchie aus Schichten und Neuronen ermöglicht es dem Computer, komplizierte Konzepte zu lernen, indem er sie aus einfacheren Konzepten aufbaut.

Beispiele für Deep Learning

• Erkennung von Objekten in Bildern: Ein neuronales Netz ist in der Lage, durch die Verknüpfung und Abstraktion von gelernten Merkmalen, Objekte auch unter starken Variationen zu erkennen.
• Übersetzungsprogramme: Hier wird Deep Learning erfolgreich eingesetzt, wobei die Verknüpfung von Millionen von Neuronen genutzt wird, um sinnvolle Übersetzungen zu erhalten.
• Erzeugung von Bild und Sprache: Neue Trainingsdaten z.B. für das autonome Fahren müssen nicht aufwendig durch „Herumfahren“ aufgenommen werden, sondern können emissionsfrei am Computer generiert werden.

Mögliche Herausforderungen

• Die Informationsverarbeitung ist so komplex, dass eine Interpretation, auf welcher Grundlage z.B. Objekte erkannt werden, nicht mehr möglich ist.
• Wie viele andere Technologien auch kann auch Deep Learning zweckentfremdet werden.
• Gerade die Generierung von Daten wie z.B. Videos und Ton kann zu gefälschten Inhalten führen, die sich dann übers Internet schnell verbreiten können.

Fazit

All diese Beispiele zeigen, dass Deep Learning der Schlüssel zum Erfolg für viele KI-Anwendungen auch im alltäglichen Leben sein kann. Der Ansatz findet häufig dort Einsatz, wo es schwierig ist, manuelle Regeln oder Vorgehensweisen anzuwenden. Das Ganze ist nicht neu, erste Experimente mit sehr wenigen Schichten und nur einer Handvoll Neuronen gab es bereits Ende der 50er bzw. Anfang der 60er Jahre des vorherigen Jahrhunderts. Aber erst seit dem Vorhandensein von Rechenleistung und vor allem dem Vorhandensein von Daten, ist Deep Learning praktikabel und erfolgreich einzusetzen.

Interessante Fakten

1. Deep Learning benötigt eine sehr große Mindestzahl von Trainingsdaten, um Vorhersagen zu treffen.
2. Die Bestimmung der nötigen Datenmenge hängt stark von der Anwendung ab. Die Komplexität von Neuronalen Netzen verlangt allerdings nach mehr Datenpunkten im Vergleich zu einfacheren Modellen.
3. Je größer die Datenmenge, desto höher die Wahrscheinlichkeit, zuverlässige Ergebnisse zu erhalten.
4. Fehlerhafte Daten führen zu fehlerhaften Prognosen, daher ist der Aufwand für Vorverarbeitung und Bereitstellung der Trainingsdaten oft sehr hoch und z.T. aufwendiger als das Trainieren selbst.
5. Wie viele Daten braucht man? Das Modell "GPT-3" von OpenAI wurde zum Beispiel auf einer Datenmenge von 45 Terabyte trainiert. Das sind sehr grob kalkuliert 25 Mrd. Kurzaufsätze als Worddatei, um dies größentechnisch einzuordnen.
6. Deep Learning hat dazu beigetragen, die Genauigkeit von automatischer Spracherkennung auf über 95% zu verbessern.

Zur Themenübersicht Digitale Welt

Julian Wörmann ist stellvertretender Leiter des Kompetenzfeldes Maschinelles Lernen bei der fortiss GmbH. Seine Forschungsinteressen im Bereich des Repräsentationslernens konzentrieren sich auf Anwendungen in der Signalverarbeitung, Computer Vision und Bildverarbeitung sowie der Mustererkennung. Die Anwendungsgebiete reichen vom autonomen Fahren, über Smart Energy bis hin zu Business Analytics. An sein Bachelorstudium der Medientechnik knüpfte er seinen Masterabschluss in Elektrotechnik und Informationstechnik an der Technischen Universität München an, wo er 2019 zum Dr.-Ing. promoviert wurde.