Confare LivinIT Trophy Preisträger – WienKI sicher in der Verwaltung

Confare LivinIT Trophy Preisträger – WienKI sicher in der Verwaltung

Mit WienKI schafft die Stadt Wien eine sichere und kontrollierte Plattform für den Einsatz generativer KI im Verwaltungsalltag. Im Interview geben Michel Seehuber und Sindre Wimberger von Wien Digital Einblick in das Projekt. Gemeinsam mit seinem Team zeigt er, wie unterschiedliche KI-Modelle, eine hybride Infrastruktur, klare Governance-Regeln und eine aktive Community zusammenspielen.

Erleben Sie die nächste Verleihung live vor Ort: Sichern Sie sich bereits jetzt Ihren Platz für den Confare CIOSUMMIT Salzburg am 22. September 2027 und melden Sie sich jetzt an.

Was war der konkrete Ausgangspunkt für WienKI?

Der Ausgangspunkt war eine sehr praktische Beobachtung: Generative KI war 2023 plötzlich für alle verfügbar – und damit auch für unsere Kolleg*innen. Die Frage war also nie, ob KI im Verwaltungsalltag ankommt, sondern unter welchen Bedingungen. Ein Verbot hätte nur dazu geführt, dass dienstliche Inhalte in freien Internet-Tools landen, über deren Datenverarbeitung wir keinerlei Kontrolle haben.

Wien hat sich deshalb bewusst für den umgekehrten Weg entschieden: erlauben, aber mit Leitplanken. Der KI-Kompass hält das seit der ersten Version fest – der dienstliche Einsatz generativer KI ist erwünscht, wenn die geltenden Rahmenbedingungen eingehalten werden. Damit das nicht nur Papier bleibt, brauchte es eine eigene, sichere Plattform: WienKI. Unterstützt wird die Plattform durch eine von Beginn an aufgebaute KI-Community innerhalb der Stadt Wien, Kolleginnen und  Kollegen aus allen Organisationseinheiten, die mit KI arbeiten wollen und Ihre eigenen Usecases einbringen.

Damit das nicht nur auf dem Papier steht, brauchte es eine eigene, sichere Plattform: WienKI. Unterstützt wird die Plattform durch eine von Beginn an aufgebaute KI-Community innerhalb der Stadt Wien. Kolleginnen und Kollegen aus allen Organisationseinheiten, die mit KI arbeiten wollen, bringen dort ihre eigenen Use Cases ein.

Der zweite Treiber war die Entlastung. Wir wollten wiederkehrende, automatisierbare Tätigkeiten – etwa das Zusammenfassen, Recherchieren, Formulieren und Transkribieren – so unterstützen, dass mehr Zeit für jene Aufgaben bleibt, die menschliche Einschätzung benötigen.

Und drittens ging es um digitale Souveränität. Eine Stadtverwaltung mit 70.000 Mitarbeiter*innen kann sich nicht in die Abhängigkeit von einem einzigen Anbieter begeben. WienKI war von Beginn an als Ökosystem gedacht, nicht als Einzellösung. Dieses Ökosystem wird durch die stadteigene KI-Community kontinuierlich an die Herausforderungen des Arbeitsalltags angepasst und weiterentwickelt.

„Wien Digital bringt die Organisation mit, nicht nur die Technologie.“

Die Einreichungen und Nominierungen für die Confare LivinIT Trophy 2027 sind bereits geöffnet: Gestalten Sie die Auszeichnung mit und reichen Sie Ihr Projekt oder Ihr Favoriten-Team jetzt ein.

Welche Anwendungen bringen im Verwaltungsalltag den größten Nutzen?

Aktuell zeigen die Zahlen, wo der größte Hebel liegt:

• Wissensdatenbanken, die komplexe Fragen zu Richtlinien, Vorschriften oder internen Regelwerken direkt beantworten können – beispielsweise die MA-01-Wissenssammlung mit 90 Prozent positivem Nutzer*innenfeedback.
• Chat-Funktionen für die alltägliche Textarbeit mit insgesamt bereits mehr als 234.005 KI-Anfragen im dienstlichen Kontext.
• Dokumentenanalyse und -durchsuchung: Rund 20.000 Dokumente sind KI-gestützt durchsuchbar und auswertbar. Sie sind in mehr als 1.820 selbstverwalteten und mit Kolleg*innen geteilten Dokumentensammlungen organisiert.
• Bildgenerierung für interne und kommunikative Zwecke. Bereits mehr als 120.000 KI-Bilder wurden erzeugt.
• Produktive KI-Assistenten, die erste automatisierte Abläufe übernehmen.

Insgesamt sind aktuell 408 KI-Assistenten beziehungsweise Use Cases im Einsatz. Sie werden von rund 4.010 Power-Userinnen aus einem Kreis von 70.000 zugriffsberechtigten Mitarbeiterinnen genutzt – bei einem Tokenverbrauch von rund 1.100.070,020 Milliarden.

Wie verbindet WienKI unterschiedliche Modelle und Betriebsformen?

Wir setzen bewusst auf eine hybride Architektur, um digitale Souveränität mit Interoperabilität zu verbinden:

• WienKI verbindet kommerzielle Modelle mit Open-Source-Modellen sowie Cloud- mit On-Premises-Betrieb. Wie gestaltet Ihr die Architektur und die Einsatzbereiche?
• Open-Source-Modelle wie Mistral/Mixtral, Voxtral oder Gemma laufen auf Azure-VMs mit Nvidia-Grafikkarten und Loadbalancer im Eigenbetrieb – hier steuern wir Modell-Eigenschaften wie reduzierte Halluzination, Prompt-Performance oder Vision-Fähigkeiten selbst.
• Über einen Model Proxy in einem Red-Hat-Container werden diese Modelle sowie kontrolliert eingebundene kommerzielle Modelle, beispielsweise GPT 5.6, einheitlich zugänglich gemacht.
• Bei der Datenhaltung verbinden wir Cloud- und On-Premises-Komponenten: Ein Azure Storage Account beziehungsweise Data Lake wird für Datenquellen und Bilder mit AES-256-Verschlüsselung und Bring Your Own Key (BYOK) eingesetzt. Chats, Logging und weitere Daten werden auf einem On-Premises-SQL-Server 2022 der MA 01 mit Datenmaskierung gespeichert.

Diese Kombination erlaubt uns, abhängig von der Sicherheitsklassifikation der Daten – frei, eingeschränkt oder vertraulich – den passenden Betriebsmodus zu wählen und dabei die EU-/AT-Datenresidenz einzuhalten.

Wie werden falsche oder veraltete KI-Antworten verhindert?

Die Antwort auf die Frage nach der fachlichen Verantwortung ist kurz und unmissverständlich: Der Mensch trägt die Verantwortung. Das steht so im KI-Kompass. Es ist kein Kleingedrucktes, sondern das Grundprinzip. Die KI liefert einen Vorschlag – die Erledigung verantwortet immer die bearbeitende Person, fachlich eingebettet in ihre Dienststelle.

Technisch und organisatorisch arbeiten wir mit mehreren Schichten:

• Quellenangaben statt Blackbox: Antworten aus Wissensdatenbanken verweisen auf die zugrunde liegenden Dokumente. Dadurch wird eine Überprüfung zumutbar: Man muss der Antwort nicht glauben, sondern kann selbst nachsehen.
• Kuratierte Datenbestände: Wissensdatenbanken werden von den Fachbereichen selbst gepflegt. Wer die Inhalte verantwortet, ist auch für deren Aktualität zuständig. Veraltete Antworten sind meist ein Problem der Datenpflege, nicht des Modells.
• Modellauswahl nach Halluzinationsverhalten: Die Eignung eines Modells bewerten wir ausdrücklich auch danach, wie stark es zum Halluzinieren neigt.
• Human in the Loop als Governance-Prinzip: Dieses Prinzip ist in der einheitlichen KI-Governance verankert – einschließlich AI-Act-Konformität und Risikoklassifizierung.
• Anonymisierung und Datenmaskierung: Sie bilden eine eigene Basiskomponente. Ergänzend gilt die Regel, dass die Freigabe der Plattform eine Prüfung des jeweiligen Einzelfalls nicht ersetzt.
• Transparenz nach außen: Wo der EU AI Act eine Kennzeichnung verlangt, kennzeichnen wir KI-Inhalte mit den europaweit abgestimmten Icons.

Der KI-Kompass fordert außerdem ausdrücklich, Ergebnisse auf Objektivität, Ausgewogenheit und Stereotype zu prüfen, sie mit verlässlichen Quellen zu validieren und unterschiedliche Prompt-Varianten zu testen. Dazu gehört beispielsweise, die KI gezielt nach Pro- und Contra-Argumenten zu fragen. Diskriminierende Antworten sind schlicht nicht zu verwenden.

Wichtig ist uns die Haltung dahinter: Wir behandeln KI-Ergebnisse wie jede andere externe Information auch – kritisch, prüfend und quellenbasiert. Das kann Verwaltung gut. Das ist unser Kerngeschäft.

Gala Dinner & Livin IT Trophy – eine Nacht, in der Spitzenleistungen in der IT sichtbar, gefeiert und ausgezeichnet werden.

Was müssen Mitarbeiter*innen für einen verantwortungsvollen Umgang mit KI lernen?

Drei Dinge – und zwar in dieser Reihenfolge.

Erstens: verstehen, was eigentlich passiert. Ein Sprachmodell ist kein Nachschlagewerk, sondern ein Wahrscheinlichkeitsmodell für Sprache. Wer das verinnerlicht hat, versteht auch, warum Halluzinationen kein Bug, sondern eine Eigenschaft sind – und liest Ergebnisse entsprechend anders.

Zweitens: Datenkompetenz. Welche Daten darf ich wo eingeben? In frei verfügbare Tools im Internet gehören ausschließlich öffentliche Daten. Auf der Plattform WienKI dürfen nach Prüfung durch die MA 01 auch interne Daten mit der Klassifikation „eingeschränkt“ oder „vertraulich“ verarbeitet werden. Diese Unterscheidung muss sitzen.

Drittens: Urteilskraft. Dazu gehören das Erkennen von Bias, das Hinterfragen von Deepfakes, das Gegenprüfen von Quellen und das Wissen darüber, wann eine Kennzeichnung notwendig ist.

Formal haben wir dafür einen KI-Kompetenzansatz mit den verpflichtenden E-Learnings „Künstliche Intelligenz“ und „Fake News“ für alle Mitarbeiter*innen entwickelt.

Das eigentliche Lernen passiert jedoch in der Community: KITT – Künstliche Intelligenz Tipps und Tricks. Dabei handelt es sich nicht um Frontalunterricht, sondern um ein laufendes Format mit Einführungsterminen für Neueinsteigende, monatlichen KI-News, „Prompt Together“ zum gemeinsamen Erarbeiten von Prompts und einer eigenen Serie zu Wissensdatenbanken und KI-Assistenten. Ergänzend finden Hands-on-Workshops direkt in den Abteilungen statt. Technisches Vorwissen ist nicht notwendig, das Angebot steht allen offen.

Das erklärt auch, warum aus 70.000 Zugängen rund 4.010 Power-User*innen geworden sind: Menschen, die andere mitziehen. Wir nennen das den KITT-Loop – Nutzung erzeugt Erfahrung, Erfahrung erzeugt Use Cases und Use Cases erzeugen wiederum Nutzung.

„Einfach statt kompliziert.“

Welche nächsten Anwendungen sind geplant und wo liegen die Grenzen?

Aktuell haben wir zwei produktive Agenten im Einsatz – das ist erst der Anfang. Der Weg führt von der Chat-Nutzung über Wissensdatenbanken hin zu Assistenzsystemen, die mehrschrittige Aufgaben unterstützen.

Konkret bauen wir die wiederverwendbaren Basiskomponenten weiter aus: Dokumentenanalyse, strukturierte Textverarbeitung, Entscheidungsunterstützung, Transkription und Anonymisierung. Sie dienen als Bausteine, die jede Dienststelle für ihre Fachverfahren nutzen kann.

Das Wort „Unterstützung“ ist dabei kein Zufall, sondern beschreibt die Grenze.

Wo wir bewusst nicht hingehen:

• Keine automatisierten Entscheidungen mit Rechtswirkung gegenüber Bürger*innen: Ein Bescheid ist ein Hoheitsakt. Diesen verantwortet ein Mensch. KI darf zuarbeiten, aber nicht entscheiden.
• Human in the Loop ist nicht verhandelbar: Das Prinzip ist Teil unserer Governance und keine Option, über die bei jedem Projekt neu entschieden wird.
• Keine künstlichen fotorealistischen Personen: Das ist eine bemerkenswert klare Festlegung im KI-Kompass. Die Markenidee „Der Mensch steht in der Mitte“ steht für die reale Vielfalt der Wiener*innen. KI-generierte Menschen sind künstliche Konstruktionen ohne realen Bezug. Ihr Einsatz würde Glaubwürdigkeit und Vertrauen beschädigen. KI visualisiert bei uns Räume, Objekte und Konzepte, ersetzt aber keine Menschen.
• Kein Einsatz ohne Risikoklassifizierung nach dem AI Act: Jede neue Funktionalität durchläuft den vorgesehenen Genehmigungsprozess.

Grenzen zu ziehen bedeutet für uns nicht, zu bremsen. Es ist vielmehr die Voraussetzung dafür, überhaupt so schnell sein zu können. Weil klar ist, was gilt, muss nicht bei jedem Use Case neu diskutiert werden, was erlaubt ist.

Was würde euch die Confare LivinIT Trophy bedeuten?

Sehr viel – und zwar vor allem für das Team.

WienKI ist kein Produkt, das man einfach einkauft. Die Plattform wurde über Monate von Kolleg*innen entwickelt, die Architektur, Sicherheit, Recht, Governance und Community-Arbeit gleichzeitig gedacht haben. Der schwierigste Teil war dabei ehrlicherweise nicht die Technik, sondern die Organisation: 70.000 Menschen den Zugang zu einer neuen Technologie zu ermöglichen, ohne die Kontrolle über Daten und Verantwortung zu verlieren.

Genau diese Arbeit ist normalerweise unsichtbar. Verwaltung wird wahrgenommen, wenn etwas nicht funktioniert – selten, wenn etwas außergewöhnlich gut funktioniert. Auszeichnungen wie die Confare LivinIT Trophy holen die Menschen hinter der Infrastruktur vor den Vorhang.

Das wirkt nach innen als Motivation und nach außen als Signal: Die öffentliche Verwaltung ist ein Ort für anspruchsvolle IT-Arbeit, für Open Source, für Cloud-Architekturen und für KI auf europäischem Spitzenniveau. In Zeiten des Fachkräftemangels ist das auch ein handfestes Argument für den öffentlichen Dienst als Arbeitgeberin.

Und es hilft dem Gedanken selbst. Digitale Souveränität ist keine rein Wiener Angelegenheit – jede Verwaltung in Europa steht vor denselben Fragen. Je sichtbarer erfolgreiche Beispiele werden, desto eher entstehen Nachahmung, Austausch und gemeinsame Lösungen. Deshalb teilen wir unsere Erfahrungen aktiv, etwa in der Cloud-Community Public Administration.

„Unsere Reise hat erst begonnen. Analog war gestern – Wien (ist) Digital.“

Jetzt für das Confare CIOSUMMIT Wien am 17. & 18. März 2027 in der METAStadt anmelden – der zentrale Treffpunkt, an dem die Zukunft der IT im DACH-Raum diskutiert und gestaltet wird.