Darmstadt: Masterarbeit: Eignung von Benchmarks für LLMs

Das Fraunhofer-Institut für Sichere Informationstechnologie SIT gehört zu den führenden Forschungs- und Entwicklungseinrichtungen für Cyber-Sicherheit in Deutschland und Europa und ist Teil von ATHENE, dem nationalen Forschungszentrum für angewandte Cybersicherheit. ATHENE ist eine Kooperation der Fraunhofer-Gesellschaft mit der TU Darmstadt, der Hochschule Darmstadt und der Goethe-Universität Frankfurt. Unser gemeinsames Ziel: die Welt von morgen sicherer zu machen.

Was Du bei uns tust

LLMs haben in den letzten Jahren große Aufmerksamkeit erlangt, aufgrund ihrer bemerkenswerten Fähigkeiten. Der Begriff "Fähigkeiten" ist jedoch nicht klar definiert. Daher gibt es kein eindeutiges Verständnis davon, was eine Fähigkeit ist, die ein LLM besitzt. Diese Fähigkeiten zu quantifizieren ist noch schwieriger, da dies durch Benchmarking geschieht. Benchmarking testet LLMs nur anhand eines bestimmten Datensatzes. Es kann nicht festgestellt werden, ob ein LLM tatsächlich die gegebene Fähigkeit besitzt oder ob es lediglich die Benchmark-Daten auswendig gelernt hat. Daher sollen generalisierende und memorisierende Neuronen identifiziert werden.

Ziel: Das Ziel dieser Arbeit ist es, ein besseres Verständnis der Fähigkeiten von LLMs zu erlangen. Daher sollen bestimmte Fähigkeiten, z.B. die Generalisierung, spezifischen Bereichen im Netzwerk zugeordnet werden. Anschließend wird überprüft, ob einige der Daten im Benchmark auswendig gelernt wurden und wie gut der Benchmark geeignet ist, um die LLMs zu bewerten. Dazu soll ein Ansatz entwickelt und implementiert werden, der automatisiert Neuronen in einem LLM analysiert. Abhängig von deren neuronalen Aktivitäten und einem entwickelten Bewertungssystem wird die Eignung eines Benchmarks für das jeweilige LLM automatisiert eingestuft.

Ergebnisse: Die Ergebnisse dieser Arbeit sollen den Weg für ein besseres Verständnis und die Motivation weiterer Forschungsarbeiten zu den Fähigkeiten von LLMs ebnen. Während traditionelle Benchmarking-Methoden der Standard zur Bewertung von LLMs waren, bringen sie Einschränkungen mit sich. Die Arbeit wird die Identifikation der Eignung von Benchmarks und das Lernen für spezifische LLMs verbessern und Einblicke darin bieten, welche Benchmarks die Fähigkeiten des Modells genau widerspiegeln. Durch die automatisierte Implementierung kann die Eignung von Benchmarks schnell und einfach bestimmt werden, sodass man einen guten Überblick über die tatsächliche Performance des zu testenden LLMs erhält. Schließlich werden die Ergebnisse mit dem BenchBench-Benchmark verglichen, einem Benchmark für Benchmarks, um die Ergebnisse zu validieren.

Was Du bei uns tust:

• Forschen und Implementieren von neuartigen Machine Learning Ansätzen, die die Sicherheit von LLMs steigern
• Selbstkritische Evaluierung der gefundenen Ergebnisse
• Präsentieren der Ergebnisse
• Anfertigen eines Projektberichts in Form einer Masterarbeit

Was Du mitbringst

• Kenntnisse im Bereich Machine Learning darunter Training, Inferenz und Optimierung von Transformerarchitekturen
• Gute Python Kenntnisse im Speziellen mit Pytorch
• Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten

Was Du erwarten kannst

• Selbstständige Arbeitszeiteinteilung
• Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung

Verwandte Arbeiten:

1. (Relevante Abschnitte 2.2-2.5)

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft. 

Haben wir Dein Interesse geweckt? Dann bewirb Dich jetzt online mit Deinen aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Dich kennenzulernen! 

Fraunhofer-Institut für Sichere Informationstechnologie SIT

Kennziffer: 81218                Bewerbungsfrist: