Optimierungsmethoden fürs Machine Learning/Deep Learning

In diesem Training geht es um die Optimierungsmethoden, die im Machine Learning und Deep Learning zum Einsatz kommen. Jedes tiefe neuronale Netz und allgemein jedes Modell muss trainiert werden, d.h., es werden anhand eines Trainingsdatensatzes die jeweiligen Modellparameter gelernt. Genau dieses Lernen erledigen die Optimizer – die Optimierungsmethoden im Hintergrund. Meist verwenden Anwender hier voreingestellte Verfahren wie "SGD", "RMSprop" oder "Adam" (bzw. korrekt: "AdaM"), ohne genau zu wissen, was diese eigentlich tun und welchen Einfluss diese Wahl hat.

Wir werden anhand einiger praktischer Beispiele verschiedene Methoden und ihre Parameter kennenlernen und ihren jeweiligen Einflüsse auf Trainingszeiten und auch die "Lernqualität" untersuchen – es geht nämlich um einiges mehr als nur um schnelleres Training.

Dazu verwenden wir Jupyter-Notebooks auf Google Colab mit Tensorflow und Keras. Die in der Agenda erwähnten Deep-Learning-Algorithmen – Autoencoder, RNNs und CNNs – sind Vorschläge, die wichtige Anwendungsgebiete abdecken. Wir werden sehen, wie viel wir schaffen und wo wir am meisten lernen, entdecken und natürlich optimieren können.

Vorkenntnisse

* Grundkenntnisse in Python und Jupyter
* Grundkenntnisse in Machine Learning/Deep Learning
* Praktische Erfahrungen im Trainieren von Neuronalen Netzen und Deep-Learning-Algorithmen sind hilfreich
* Besonderes mathematisches Know-how ist nicht erforderlich

Lernziele

* Unterscheidung der Begriffe Lernen - Trainieren - Optimieren
* Verständnis der Rolle von Optimierungsmethoden im Machine / Deep Learning
* Grundlegende Kenntnis der Funktionsweisen, Eigenschaften und Parameter ausgewählter Verfahren
* Hands-on-Kennenlernen des Potenzials "guter" Optimierungsverfahrens im Hinblick auf Trainingszeit und -ergebnis (Modellqualität)
* Viele praktische Experimente, Tipps und Tricks für den Trainingsalltag, ein Blick in den Maschinenraum des Machine Learning

 

Agenda

  • Lernen, Trainieren, Optimieren
  • Einführung in Optimierungsmethoden
  • Anwendungsfall Deep Learning – ein erstes Beispiel

Kaffeepause

  • Arbeiten mit Jupyter-Notebooks auf Colab
  • Praxistests I – Autoencoder und RNNs
  • Praxistests II – CNNs für MNIST

 

Technische Anforderungen:

Falls Sie ein Firmengerät Ihrer Firma verwenden, überprüfen Sie bitte kurz, ob sie lokale Administratorrechte besitzen und Internetverbindungen außerhalb des Firmennetzwerks möglich sind (falls es voreingestellte Corporate-Proxys gibt).

Speaker

 

Stefan Kühn
Stefan Kühn beschäftigt sich seit vielen Jahren mit Data Science, Machine Learning und mathematischer Grundlagenforschung. Aktuell arbeitet er als Head of Data Science & Data Engineering bei Tom Tailor.

ML-Essentials-Newsletter

Sie möchten über die ML Essentials
auf dem Laufenden gehalten werden?

 

Anmelden