Hauptinhalt
Topinformationen
Grounding LLMs into the physical world
8.3600
Dozenten
Beschreibung
In this block course, we explore the intriguing debate about whether Large Language Models (LLMS) , known for learning through next-word prediction, can develop an understanding of the physical world. The course highlights the recent emergence of multimodal LLMs, like GPT-4, which learn from both text and visual inputs, and examines the extent to which this multimodality might enhance language grounding and physical understanding.
A core part of the course involves analyzing the traditional research approach in this domain, which focuses on LLMs performing next-word prediction tasks. We critically assess whether this method truly tests a model's understanding of physical concepts,. The course also proposes a novel evaluation framework for assessing 'genuine' physical understanding in LLMs. This framework involves using realistic physical simulators as proxies for the real world, requiring LLMs to solve tasks through sensorimotor interaction with these simulators. This approach aims to test the models' ability to bridge natural language with simulated environments and their grasp of intuitive physics, offering a more comprehensive evaluation of their cognitive abilities.
Learning objectives:
- Understand the current state and potential of LLMs in simulating human-like cognition.
- Evaluate the effectiveness of multimodal learning in LLMs for physical understanding.
- Critically analyze traditional next-word prediction tasks in assessing physical comprehension.
Weitere Angaben
Ort: nicht angegeben
Zeiten: Termine am Montag, 16.09.2024 12:00 - 18:00, Dienstag, 17.09.2024 09:00 - 12:00, Dienstag, 17.09.2024 13:00 - 16:00, Mittwoch, 18.09.2024 09:00 - 12:00, Mittwoch, 18.09.2024 13:00 - 16:00, Donnerstag, 19.09.2024 09:00 - 12:00, Donnerstag, 19.09.2024 13:00 - 16:00, Freitag, 20.09.2024 09:00 - 12:00, Freitag, 20.09.2024 13:00 - 16:00, Montag, 23.09.2024 12:00 - 18:00, Dienstag, 24.09.2024 09:00 - 12:00, Dienstag, 24.09.2024 13:00 - 16:00, Mittwoch, 25.09.2024 09:00 - 12:00, Mittwoch, 25.09.2024 13:00 - 16:00, Donnerstag, 26.09.2024 09:00 - 12:00, Donnerstag, 26.09.2024 13:00 - 16:00, Freitag, 27.09.2024 09:00 - 12:00, Freitag, 27.09.2024 13:00 - 16:00
Erster Termin: Montag, 16.09.2024 12:00 - 18:00
Veranstaltungsart: Blockseminar (Offizielle Lehrveranstaltungen)
Studienbereiche
- Cognitive Science > Bachelor-Programm
- Cognitive Science > Master-Programm
- Human Sciences (e.g. Cognitive Science, Psychology)
Research Areas:
Algebraic geometry 14-XX
K-theory 19-XX
Algebraic topology 55-XX
Publications:
- Cellularity of hermitian K-theory and Witt-theory (with Markus Spitzweck and Paul Arne Østvær)
- On the η-inverted sphere. K-Theory-Proceedings of the International Colloquium
- Gigantic random simplicial complexes Link (with Jens Grygierek, Martina Juhnke-Kubitzke, Matthias Reitzner and Tim Römer)
- On very effective hermitian K-theory Link (with Alexey Ananyevskiy and Paul Arne Østvær)
- The first stable homotopy groups of motivic spheres DOI (with Markus Spitzweck and Paul Arne Østvær)
- Vanishing in stable motivic homotopy sheaves (with Kyle Ormsby and Paul Arne Østvær) Link
- The multiplicative structure on the graded slices of hermitian K-theory and Witt-theory (with Paul Arne Østvær) Link
- Slices of hermitian K–theory and Milnor's conjecture on quadratic forms (with Paul Arne Østvær) Link
- Calculus of functors and model categories, II (with Georg Biedermann) Link
- The Arone-Goodwillie spectral sequence for Σ∞Ωn and topological realization at odd primes (with Sebastian Buescher, Fabian Hebestreit und Manfred Stelzer) Link
- Motivic slices and coloured operads (with Javier Gutierrez, Markus Spitzweck and Paul Arne Østvær) Link
- Motivic strict ring models for K-theory (with Markus Spitzweck and Paul Arne Østvær) PDF
- Theta characteristics and stable homotopy types of curves DOI
- A universality theorem for Voevodsky's algebraic cobordism spectrum (with Ivan Panin and Konstantin Pimenov) Link
- On the relation of Voevodsky's algebraic cobordism to Quillen's K-theory DOI (with Ivan Panin and Konstantin Pimenov)
- On Voevodsky's algebraic K-theory spectrum BGL (with Ivan Panin and Konstantin Pimenov)
- Rigidity in motivic homotopy theory DOI (with Paul Arne Østvær)
- Calculus of functors and model categories DOI (with Georg Biedermann and Boris Chorny)
- Motivic Homotopy Theory Link (with B.I.Dundas, M.Levine, P.A.Østvær and V.Voevodsky)
- Motives and modules over motivic cohomology Link (with Paul Arne Østvær)
- Modules over motivic cohomology DOI (with Paul Arne Østvær)
- Enriched functors and stable homotopy theory Link (with Bjørn Ian Dundas and Paul Arne Østvær)
- Motivic functors Link (with Bjørn Ian Dundas and Paul Arne Østvær)
Preprints and Talks:
Projekte
- DFG-Sachbeihilfe "Algebraic bordism spectra: Computations, filtrations, applications" (DFG-RSF-Antrag mit Alexey Ananyevskiy)
- DFG-Sachbeihilfe "Applying motivic filtrations" (mit Marc Levine und Markus Spitzweck) im DFG Schwerpunktprogramm 1786
- DFG-Sachbeihilfe "Operads in algebraic geometry and their realizations" (mit Jens Hornbostel,
Markus Spitzweck und Manfred Stelzer) im DFG Schwerpunktprogramm 1786 - DFG Sachbeihilfe ``Operad structures in motivic homotopy theory'' im DFG Schwerpunktprogramm 1786 ``Homotopy theory and algebraic geometry'' (mit Markus Spitzweck)
- DFG Sachbeihilfe ``Motivic filtrations over Dedekind domains'' im DFG Schwerpunktprogramm 1786 ``Homotopy theory and algebraic geometry'' (mit Marc Levine und Markus Spitzweck)
- DFG Graduiertenkolleg 1916 ``Combinatorial structures in geometry''
- DFG Sachbeihilfe ``Goodwillie towers, realizations, and En-structures''
- Graduiertenkolleg ``Combinatorial structures in algebra and topology'' (mit H. Brenner, W. Bruns, T. Römer und R. Vogt)
- DFG Sachbeihilfe ``Combinatorial structures in algebra and topology'' (mit H. Brenner, W. Bruns, T. Römer und R. Vogt)
Supervision
PhD
Philip Herrmann: Stable equivariant motivic homotopy theory and motivic Borel cohomology, 2012
Florian Strunk: On motivic spherical bundles, 2013
Master/Diplom
Markus Severitt: Motivic Homotopy Types of Projective Curves, 2006 PDF
Philip Herrmann: Ein Modell für die motivische Homotopiekategorie, 2009
Florian Strunk: Ein Modell für motivische Kohomologie, 2009
Sebastian Büscher: Anwendung der F2-kohomologischen Goodwillie-Spektralsequenz für iterierte Schleifenraeume, 2010
Fabian Hebestreit: On topological realization at odd primes, 2010
Katharina Lorenz: Darstellung unterschiedlicher mathematischer Rekonstruktionen von Größen, 2012
Jana Brickwedde: Fehlvorstellungen zum Grenzwertbegriff, 2015
Lena-Christin Müller: Penrose-Parkettierungen und ihre Eigenschaften, 2015
Larissa Bauland: Der Satz von Seifert-van Kampen und einige seiner Anwendungen, 2018
Nikolaus Krause: Eine algebraische Einfuehrung in die Milnor-Witt K-Theorie, 2019
Bachelor
Ein Spezialfall des letzten Satzes von Fermat, 2010
Transzendente Zahlen, 2010
Zur Gruppe des Rubik-Wuerfels, 2011
Einige Betrachtungen zum letzten Satz von Fermat, 2012
Die Involution auf algebraischer K-Theorie, 2012
-
Platonische und Archimedische Körper, 2012
Klassifikation regulärer Polyeder, 2013
Grundbegriffe der Trigonometrie und ihrer Umsetzung in der gymnasialen Sekundarstufe I, 2014
Die Riemann’sche Zetafunktion und der Primzahlsatz, 2014
Konstruktion der klassischen Zahlbereiche, 2014
Eigenschaften und spezielle Werte der Riemann'schen Zetafunktion, 2015
Das quadratische Reziprozitätsgesetz und dessen Bedeutung in der Kryptographie, 2015
Graphen färben, 2015
Klassifikation und Visualisierung von Koniken, 2016
Konstruktion von Polygonen mit einem einzigen Schnitt, 2016
Parkettierungen der Ebene durch kongruente konvexe Fuenfecke, 2019
Die klassischen Hopf-Faserbuendel und einige ihrer Eigenschaften, 2019
Einige Anmerkungen mathematischer und historischer Natur zu Fermats Letztem Satz, 2019