Die Epistemologie der Statistischen Lerntheorie
Theoretische Informatik
Zusammenfassung der Projektergebnisse
Methoden des maschinellen Lernens haben einen immer größeren Einfluss auf die Wissenschaft und die Gesellschaft. Dies erfordert ein besseres Verständnis nicht nur der Folgen des Einsatzes von Methoden des maschinellen Lernens sondern auch dieser Methoden selbst. Wie erklärt sich ihr offensichtlicher Erfolg? Inwiefern und in welchem Umfang führen sie zu zuverlässigen Schlussfolgerungen? Was sind ihre unvermeidlichen Grenzen? Diese Fragen haben mit dem Wesen und der Rechtfertigung unsicherer oder induktiver Schlüsse zu tun: grundlegende erkenntnistheoretische Fragen. Dennoch haben sich Philosophen nur wenig mit diesen Fragen in Bezug auf die Algorithmen des maschinellen Lernens beschäftigt. Insbesondere haben formalen Philosophen wenig Nutzen aus den bestehenden mathematischen Rahmen für die Analyse von Lernalgorithmen gezogen. Der Standardrahmen dieser Art ist die statistische Lerntheorie (SLT), und die Hauptidee dieses Projekts bestand darin, den Rahmen der SLT für eine erkenntnistheoretische Untersuchung moderner maschineller Lernmethoden zu nutzen. Der erste Teil des Projekts konzentrierte sich auf die grundlegenden Grenzen der induktiven Inferenz und insbesondere auf die No-Free-Lunch-Theoreme im maschinellen Lernen. Die Hauptfrage war hier, wie genau diese skeptischen Ergebnisse mit den positiven theoretischen Garantien, die SLT bietet, koexistieren können. Das Projekt beantwortet diese Frage, indem es darlegt, wie diese allgemeinen Lerngarantien für Standardalgorithmen dennoch relativ zu den restriktiven Modellannahmen sind, die wir für jede spezifische Anwendung benötigen. Der daraus resultierende Begriff der modellrelativen Rechtfertigung eröffnet einen Mittelweg zwischen (unfruchtbarem) Skeptizismus und einem (unplausiblen) metaphysischen Prinzip der Lernfreundlichkeit der Welt. In Erweiterung eines wichtigen pragmatistischen Ansatzes in der modernen Wissenschaftsphilosophie argumentiert das Projekt außerdem, dass dieser Begriff der Rechtfertigung der Lerntheorie eine natürliche normative Rolle in einer umfassenderen "vorausschauenden" erkenntnistheoretischen Darstellung zuweist. Der zweite Teil des Projekts befasste sich mit Occams Rasiermesser, dem philosophischen Grundsatz, dass eine Präferenz für Einfachheit einer guten induktiven Argumentation förderlich ist. Hier ging es um die Frage, ob die SLT eine theoretische Rechtfertigung für diesen Grundsatz bieten kann. Das Projekt zeigt auf, wie die SLT eine qualifizierte modellrelative Mittel-Zweck-Rechtfertigung für Occams Rasiermesser bietet. Das Projekt hat somit unser erkenntnistheoretisches Verständnis der SLT erheblich erweitert. In der Zwischenzeit hat sich ein Großteil der Forschung in der Informatik auf die Grenzen der SLT konzentriert, den Erfolg moderner Algorithmen wie tiefer neuronaler Netze zu erklären. Die Ergebnisse des Projekts bieten auch die natürliche Grundlage für eine philosophische Bewertung dieser wichtigen Suche nach einer neuen Theorie.
Projektbezogene Publikationen (Auswahl)
-
The no-free-lunch theorems of supervised learning. Synthese, 199(3-4), 9979-10015.
Sterkenburg, Tom F. & Grünwald, Peter D.
-
On characterizations of learnability with computable learners. Proceedings of Machine Learning Research 178 (Conference on Learning Theory, COLT 2022): 3365-3379.
T.F. Sterkenburg
-
Peirce, Pedigree, Probability. Transactions of the Charles S. Peirce Society, 58(2).
Stewart, Rush T. Stewart
-
Review of John D. Norton’s The Material Theory of Induction - John D. Norton, The Material Theory of Induction. Calgary: University of Calgary Press, 680 pp. Philosophy of Science, 91(4), 1030-1033.
Sterkenburg, Tom F.
-
On Explaining the Success of Induction. The British Journal for the Philosophy of Science, 76(1), 75-93.
Sterkenburg, Tom F.
