Inductive Transfer with Deep Biases
Final Report Abstract
Um Modelle mit hoher Vorhersagegenauigkeit erzeugen zu können, benötigen Methoden des maschinellen Lernens entweder Zugriff auf eine ausreichend große Menge an Trainingsdaten oder einen induktiven Lernbias, der besonders gut zu der vorliegenden Datenverteilung passt. Wenn nur ein begrenzter Umfang an Trainingsdaten verfügbar ist, macht es daher Sinn, den induktiven Lernbias eines Lernsystems besser an die gegebene Aufgabenstellung anzupassen. Eine Möglichkeit, um dies zu erreichen, sind Methoden des induktiven Transfers. Die Hauptidee dieser Verfahren ist es, Lernbiase, die in der Vergangenheit erfolgreich bei ähnlichen Aufgaben verwendet wurden, auf die neue Aufgabenstellung zu übertragen. Im Projekt “Induktive Transfer with Deep Biases” haben wir die Fragestellung untersucht, wie man induktiven Transfer effizient implementieren kann, wenn man “tiefe” Lernbiase verwendet. Unter tiefen Lernbares verstehen wir in diesem Zusammenhang Biase, die auf strukturierten und komplexen Objekten arbeiten und bei denen die Attributsgenerierung daher Teil des Lernvorgangs ist. Wir haben zu dieser Fragestellung einige interessante theoretische Resultate erarbeiten können. Bei Lernverfahren, die auf regularisierte Fehleroptimierung basieren, kann man induktiven Transfer durchführen, indem man die Momente der Klassifikationsgewichte auf den Quelldatensätzen als Parameter bei der Regularisierung auf dem Zieldatensatz verwendet. Zu diesem Ansatz haben wir eine obere Fehlerschranke entwickelt, die den erwarteten Vorhersagefehler unter allgemeinen Bedingungen abschätzt. Wir zeigen, wie das Resultat auf einfache Art und Weise verbessert werden kann, beispielsweise um realistische Annahmen über den Zusammenhang zwischen Quell- und Zieldaten auszunutzen. In weiteren Arbeiten haben wir obere Fehlerschranken für das Lernen mit Mehrfach-Kernen entwickelt. In unseren empirischen Studien haben wir induktive Lernverfahren mit verschiedenen Lernbiasen untersucht. Basierend auf den theoretischen Ergebnissen haben wir ein neues Transferverfahren für lineare Klassifikationsmodelle entwickelt, implementiert und erfolgreich empirisch untersucht. Unsere Forschungen zum Transfer mit Mehrfachkernen beinhalten ein umfassende Formulierung des Lernens mit Mehrfach-Kernen, die eine effiziente Implementierung und den direkten Vergleich verschiedener Regularisierungsansätze erlaubt, sowie die Erweiterung eines Transferansatzes mit effizienterer Quelldatenanalyse und neuen Metakernen. Für den Anwendungsbereich der Struktur-Aktivitäts-Beziehungsmodelle zur Vorhersage der Aktivität kleiner Moleküle haben wir verschiedene Verfahren zur Attributsgenerierung verglichen und basierend auf den Ergebnissen ein neues Verfahren vorgeschlagen. Zu distanzbasierten Lernverfahren haben wir eine Studie durchgeführt, die den Information aus dem Zieldaten mit den transferierten Informationen aus den Quelldatei verbindet.
Publications
- A unifying view of multiple kernel learning. In Jose Balcazar, Francesco Bonchi, Aristides Gionis, and Michele Sebag, editors, Machine Learning and Knowledge Discovery in Databases, volume 6322 of Lecture Notes in Computer Science, pages 66–81. Springer Berlin / Heidelberg, 2010
Marius Kloft, Ulrich Rückert, and Peter Bartlett
- Adapted transfer of distance measures for quantitative structure-activity relationships. In Bernhard Pfahringer, Geoffrey Holmes, and Achim G. Hoffmann, editors, Discovery Science - 13th International Conference, DS 2010, Canberra, Australia, October 6-8, 2010. Proceedings, pages 341–355. Springer, 2010
Ulrich Rückert, Tobias Girschick, Fabian Buchwald, and Stefan Kramer
- Fast, Effective Molecular Feature Mining by Local Optimization. In: Jose L. Balcazar, Francesco Bonchi, Aristides Gionis and Michele Sebag, editors, Machine Learning and Knowledge Discovery in Databases, volume 6322 of Lecture Notes in Computer Science, pages 563–578. Springer Berlin / Heidelberg, 2010
Albrecht Zimmermann, Björn Bringmann, and Ulrich Rückert
- Transfer Learning with Adaptive Regularizers. In Dimitrios Gunopulos, Thomas Hofmann, Donato Malerba, and Michalis Vazirgiannis, editors, Machine Learning and Knowledge Discovery in Databases - European Conference, Part III, volume 6913 of Lecture Notes in Computer Science, pages 65–80. Springer Berlin / Heidelberg, 2011
Ulrich Rückert, and Marius Kloft
