«KI-Forschung muss transparent sein»

Interview: Corina Vogt-Beck, Wirtschaftregional

Die ETH Zürich und die EPFL in Lausanne werden ein grosses Schweizer Sprachmodell veröffentlichen.

Das grosse Schweizer Sprach­modell (LLM) der ETH und der EPFL stellt einen Meilenstein für offene KI und mehrsprachi­ge LLM dar, schreiben die Hochschulen in einer Mittei­lung. Imanol Schlag, Forscher am ETH AI Center, hat das LLM gemeinsam mit Antoine Bosselut und Martin Jaggi von der EPFL federführend ent­wickelt und trainiert, dies ge­schah auf der öffentlichen Infrastruktur des Supercompu­ters «Alps» am nationalen Su­percomputer-Zentrum CSCS in Lugano. Wirtschaftregional hat bei Ima­nol Schlag nachgefragt, was das Schweizer Sprachmodell von kommerziellen Angeboten wie Chat GPT unterscheidet, bei denen man oft nicht weiss, mit welchen Daten sie trainiert werden.

Sie sagen, dass Ihr LLM voll ­ständig offen sein wird und Innovationen in Wissen­schaft, Gesellschaft und Industrie fördern soll. Wie wollen Sie sicherstellen, dass Ihr Modell der breiten Öf­fentlichkeit zugutekommt?

Imanol Schlag: Unser LLM ge­hört zu den grössten Modellen, die von einer öffentlichen Insti­tution trainiert wurden. Des Weiteren ist unser Prozess kom­plett offen: Quellcode, Modell­parameter, sowie welche Daten ins Training eingeflossen sind, werden frei verfügbar und trans­parent sein. So können Univer­sitäten, Unternehmen und Ent­wickler es nutzen, ohne von kommerziellen Anbietern ab­hängig zu sein.

Wer ist konkret Ihre Zielgruppe?

Wissenschaft, Bildung, Unter­nehmen und die breite Öffent­lichkeit, besonders in der Schweiz und in Europa. Wir wollen eine Alternative zu bisherigen KI-Mo­dellen bieten. Das Ziel ist aber nicht, eine Alternative zu per­sönlichen Assistenten wie Chat GPT zu lancieren.

Kann man sagen, dass Ihr LLM eine Non-Profit-KI ist?

Grundsätzlich ja, der Begriff Non-Profit hat jedoch eine Defi­nition, die hier nicht passt: Es handelt sich schliesslich um ein Modell, das von EPFL und ETHZ entwickelt wurde und nicht von einem Start-up oder Ähnlichem. Die Modellparame­ter werden frei verfügbar sein mit einer Lizenz, die den kom­merziellen Nutzen erlaubt. Dar­über hinaus hat unsere For­schungsinitiative keine Absich­ten, kommerzielle Produkte anzubieten.

Durch wen wird sie finanziert?

Die Forschung der Swiss AI Ini­tiative wird ermöglicht durch die Zusammenarbeit verschie­dener Schweizer Forscher. Die Kosten der Infrastruktur trägt das CSCS. Des Weiteren sind 20 Millionen Franken an For­schungsgeldern über vier Jahre von der ETH-Domäne für die Initiative zugesprochen worden. Dadurch wird aber nicht nur das LLM-Projekt unterstützt, sondern auch ein Dutzend an­dere, wenn auch kleinere, KI-Projekte.

Sie wollen sich für vertrau­enswürdige KI einsetzen. Besteht das Risiko, dass gerade ein «offenes» Modell für Desinformation, Mani­pulation oder politische Einflussnahme missbraucht wird? Wie wollen Sie dies verhindern?

Viele Technologien haben einen solchen «Dual Use»-Charakter. Unser Modell wird, wie auch an­dere Sprachmodelle, aligniert, um das Missbrauchspotenzial und weitere Risiken zu verklei­nern. Das ist ein konkreter Gegenstand der aktuellen For­schung und es ist wichtig, dass diese Forschung und Diskussion transparent sind und mit der Öffentlichkeit geteilt werden, anstatt dass sie in grossen kom­merziellen KI-Unternehmen hin­ter geschlossenen Türen statt­finden.

Was macht eine KI zu einer vertrauenswürdigen KI?

Transparenz, nachvollziehbare Trainingsdaten und Entwick­lungsprozesse, Einhaltung von Rechtsvorschriften und öffent­liche Entwicklung machen un­sere KI vertrauenswürdig.

Wie kann ich als Nutzerin erkennen, ob eine KI vertrauenswürdig ist?

Dafür müssen Sie sich mit den technischen Details auseinan­dersetzen, sofern diese öffent­lich sind.

«Elon Musks KI ruft zum Holocaust auf» lautet eine aktuelle Schlagzeile. Wie kann so etwas geschehen?

Dies ist unklar, da xAI nicht of­fenlegt, wie ihre KI trainiert wurde. Da xAI Teil von X ist, wurde es möglicherweise in ei­nem automatischen Prozess auf Daten von X trainiert. Das Trai­ning auf Daten von sozialen Medien kann sehr problema­tisch sein.

Ein charakteristisches Merk­mal Ihres LLM ist, dass es über 1000 Sprachen be­herrscht. Welche Vorteile bietet ein mehrsprachiges Sprachmodell im Vergleich zu Modellen, die nur eine Sprache unterstützen?

Gerade bei offenen Modellen sind die Trainingsdaten oft nur in Englisch. Die führt zu höhe­ren Nutzungskosten in anderen Sprachen und schlechterer Per­formanz. Durch das Training auf einer grossen Menge von nicht-englischen Webdaten ist unser Modell ein gutes Funda­ment für die Entwicklung von KI-Produkten für andere Spra­chen und Kulturen.

Sie haben bei Microsoft, Google und Meta gearbeitet. Nun entwickeln Sie offene Sprachmodelle als vertrau­enswürdige Alternative zu kommerziellen Systemen. Wie kam es zu diesem «Sin­neswandel»?

Ich habe bei diesen Firmen wäh­rend meines Doktoratsstudiums gearbeitet. Die Forschungsprak­tika waren eine wertvolle Erfah­rung, zusätzlich zu meiner For­schungsarbeit im AI-Lab mit meinem Doktorvater Jürgen Schmidhuber. Somit war es also nicht wirklich ein Sinneswandel, es ist aber tatsächlich der Fall, dass fast alle meiner Kollegen ihren Weg zu einem solchen Un­ternehmen gefunden haben. Wie meine Zukunft aussieht, steht noch offen, aber ich bin stolz darauf, diese Initiative zu leiten und hoffentlich einen Mehrwert für die Gesellschaft in der Schweiz und international leisten zu können.