Hierarchical Factorization Machines

• Applicant: Professor Dr. Ulrik Brandes, since 11/2013
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2013 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 229178042

• Final Report Year: 2017

Final Report Abstract

Faktoriserungsmethoden wie etwa die Matrixfaktorisierung spielen eine wichtige Rolle als Analyse- und Vorhersageverfahren für Datensätze mit hochdimensionalen, kategorialen Variablen. Faktorisierungsmaschinen sind eine Verallgemeinerung dieser Methoden zu einem featurebasierten Verfahren. Faktorisierungsmaschinen enthalten Interaktionseffekte ähnlich wie polynomielle Regressionsmodelle, jedoch werden die Modellparameter der Interaktionen als faktorisierte Matrix mit niedrigem Rang modelliert. In diesem Projekt sollten Faktorisierungsmaschinen um die Modellierung einer hierarchischen Struktur zwischen den Variablen erweitert werden. Zur Inferenz in diesem mehrschichtigen Modell sollten Bayessche Verfahren auf Basis von Gibbs-Samplern entwickelt und studiert werden. Im Laufe des Projekts haben wir den Fokus von hierarchischen Daten zu allgemeineren, relationalen Daten verlagert. Wir haben dabei gezeigt, dass featurebasierte Verfahren in der Lage sind, ähnliche Ergebnisse wie spezialisierte Ansätze des statistischen relationalen Lernens zu erzielen. Diese Ergebnisse deuten darauf hin, dass relationale Daten, einschließlich hierarchischer Daten, erfolgreich durch übliche featurebasierte Methoden gelöst werden können, solange die relationale Struktur angemessen repräsentiert wird. Weitere Ergebnisse des Projekts sind (1) die Entwicklung einer quelloffenen Bibliothek mit Lernalgorithmen, inklusive Bayesschem Gibbs-Sampling, für Faktorisierungsmaschinen und (2) Verfahren, um stichprobenbasierte Faktorisierungsmaschinen effizient anzuwenden.

Publications

• Sample selection for MCMC- based recommender systems. In Proceedings of the 7th ACM Conference on Recommender Systems, RecSys ’13, pages 403–406, New York, NY, USA, 2013. ACM
  Thierry Silbermann, Immanuel Bayer, and Steffen Rendle
  
• fastfm: A library for factorization machines. Journal of Machine Learning Research, 17(184):1–5, 2016
  Immanuel Bayer
  
• Predictive Modeling of Relational Data. PhD thesis, Universit¨t Konstanz, Konstanz, 2017
  Immanuel Bayer