Wie bewerte ich die Qualität meines ML-Modells?
“Traue keiner Statistik, die du nicht selber gefälscht hast.” – Ein scheinbar gutes Ergebnis mit Hilfe von maschinellen Lernverfahren ist oft schnell erzielt oder wird von anderen als bahnbrechend verkauft. Doch auf welche Gütemaße kann man sich bei einem Klassifikations- oder Regressionsproblem wirklich verlassen und welche Interpretationen der Ergebnisse sind zulässig?
In unserem Training wollen wir Theorie und Praxis der Modellvalidierung verknüpfen, indem wir die auf den ersten Blick häufig theorielastigen Methoden an Beispielen aus unseren eigenen Forschungsfeldern sowie durch prägnante Codebeispiele verdeutlichen und somit auch auf typische Fehler in der Validierungsmethodik aufmerksam machen. Besondere Beachtung soll hierbei die Rolle des Datensatzes in der Modellvalidierung zukommen.
Vorkenntnisse
Grundkenntnisse in Python (z.B.: numpy, sklearn) sind von Vorteil, um den interaktiven Beispielen und Übungen folgen zu können.
Lernziele
Die Teilnehmer sind nach dem Training in der Lage
* eine geeignete Methodik für die Auswertung von eigenen ML-Modellen zu wählen und anzuwenden,
* den vorhandenen Datensatz kritisch zu hinterfragen, angemessen aufzuteilen und anwendungsspezifisch zu erweitern,
* die erzielten Validierungsergebnisse zu interpretieren und richtige Schlussfolgerunge für weitere Modellverbesserungen abzuleiten.