KI im Mittelstand 2026: Wo Unternehmen wirklich stehen und was die Vorreiter anders machen

Je nach Studie nutzt heute jedes fünfte oder mehr als jedes zweite deutsche Unternehmen künstliche Intelligenz. Beide Zahlen stimmen, weil sie Verschiedenes messen. Für dein eigenes Unternehmen sagt die Quote aber wenig. Wichtiger ist, was hinter der Nutzung steckt. In den meisten Mittelständlern sind das einzelne Mitarbeiter, die mit einem Chat-Werkzeug Mails formulieren, Texte kürzen oder etwas nachschlagen. Das spart jedem von ihnen Zeit, taucht aber in keiner Kennzahl des Betriebs auf.

Die Unternehmen, die messbar etwas von KI haben, gehen anders vor. Sie geben ganze Aufgaben an die KI ab, legen für jede einen Verantwortlichen fest und sorgen dafür, dass die KI das Wissen der Firma kennt. Das hängt vor allem an der Organisation und weniger am Budget oder an der Technik.

Wie viele Mittelständler KI nutzen, hängt davon ab, wen man fragt

Die wichtigsten aktuellen Erhebungen liefern sehr unterschiedliche Werte:

Die KfW hat ihre Auswertung im Februar 2026 veröffentlicht. Sie beschreibt aber die Jahre 2022 bis 2024. Das Statistische Bundesamt schlüsselt seine 26 Prozent für 2025 nach Größe auf. Bei kleinen Firmen mit 10 bis 49 Beschäftigten sind es 23 Prozent, bei mittleren mit 50 bis 249 Beschäftigten 36 Prozent und bei Großunternehmen 57 Prozent. Bitkom meldete im März 2026 41 Prozent, ein Jahr zuvor waren es dort noch 17 Prozent. Beim ifo Institut stieg der Anteil von 40,9 Prozent im Jahr 2025 auf 54,5 Prozent im Mai 2026.

Warum die Zahlen so weit auseinanderliegen

Drei Unterschiede erklären fast die ganze Spanne.

Der erste ist der Zeitpunkt. Die KfW-Zahl stammt zum größten Teil aus einer Zeit, in der generative KI in deutschen Büros noch kaum angekommen war. Das ifo hat dagegen im Mai 2026 gefragt. Weil die Nutzung so schnell wächst, liegt jede Zahl, die älter als ein Jahr ist, systematisch zu niedrig.

Der zweite ist die Definition. Die KfW zählt nur Systeme, „die in der Lage sind, selbständig zu handeln und sich selbständig zu verbessern“. Wer im Team gelegentlich einen Chat öffnet, fällt durch diese Definition. Destatis und Eurostat fragen nach konkreten Technologien wie Textanalyse, Spracherzeugung oder Bilderkennung. Das ifo fragt nach KI in den Geschäftsprozessen und zählt auch kostenlose Werkzeuge mit. 22,5 Prozent der KI-Nutzer in der ifo-Umfrage arbeiten ausschließlich mit kostenlosen Systemen.

Der dritte ist die Stichprobe. Bitkom fragt erst ab 20 Beschäftigten, Destatis ab 10, und die KfW nimmt auch Kleinstbetriebe mit. In fast allen Erhebungen steigt die Nutzung mit der Größe des Unternehmens. Eine Ausnahme ist das ifo: Dort liegen kleine Firmen mit 51,2 Prozent vor mittleren mit 47,2 Prozent. Das passt dazu, dass in dieser Umfrage auch einfache Chat-Nutzung zählt. Ein kleiner Betrieb braucht dafür nur einen Geschäftsführer, der selbst ein Abo abschließt.

Nebeneinandergelegt ergeben die Zahlen ein klares Bild. Ungefähr die Hälfte der Unternehmen nutzt 2026 KI in irgendeiner Form. Ein deutlich kleinerer Teil hat sie fest in seinen Abläufen verankert. Wie groß dieser zweite Teil ist, misst keine der Studien direkt. Die niedrigeren Werte kommen ihm aber näher als die hohen.

Hinter den meisten Quoten steckt ein Chatfenster pro Kopf

Wofür Unternehmen KI einsetzen, zeigt die DIHK-Digitalisierungsumfrage 2026 mit knapp 5.000 Betrieben. 78 Prozent der KI-Nutzer erstellen damit Texte, Bilder oder Code. Laut ifo unterstützt KI vor allem bestehende Arbeitsschritte in Verwaltung, Schriftverkehr, Recherche, Datenanalyse und Programmierung. Am Ablauf selbst ändert sich dabei nichts. Ein Mensch macht weiter dieselbe Arbeit und lässt sich bei einzelnen Schritten helfen.

Wie diese Nutzung entsteht, zeigt eine ZEW-Befragung aus dem Frühjahr 2026 unter rund 1.500 Unternehmen, über die das Handelsblatt berichtet hat. Im verarbeitenden Gewerbe stellen nur 30 Prozent der Firmen ihren Mitarbeitern gezielt KI-Anwendungen bereit. 23 Prozent erlauben die Nutzung ausdrücklich, ohne selbst etwas bereitzustellen, und 39 Prozent dulden sie. Auf gut 60 Prozent der Betriebe in der Industrie trifft also zu, dass Mitarbeiter KI mit eigenen Mitteln nutzen.

Daraus folgt dreierlei. Jeder Mitarbeiter baut seinen Kontext im eigenen Chatverlauf auf, und niemand sonst sieht ihn. Gute Arbeitsweisen bleiben bei der Person, die sie gefunden hat. Und die Geschäftsführung weiß nicht, welche Kunden- oder Vertragsdaten in welchem Werkzeug landen. Damit hängen Datenschutz und Rechtsfragen in der Luft. Bei Destatis nennen Unternehmen ohne KI genau diese Punkte als Gründe: Unklarheit über die rechtlichen Folgen (62 Prozent) und Bedenken beim Datenschutz (60 Prozent).

Warum der Nutzen beim Einzelnen hängen bleibt

Die deutlichste Zahl dazu liefert der State of AI 2026 von McKinsey. 80 Prozent der Befragten sagen, KI habe ihre eigene Produktivität verbessert. Aber nur 37 Prozent sehen überhaupt einen Beitrag zum Betriebsergebnis, und dieser Anteil hat sich gegenüber dem Vorjahr nicht verändert. Die Gruppe, die mindestens 5 Prozent ihres EBIT der KI zuschreibt, macht stabil rund 6 Prozent aus. In Deutschland sieht es ähnlich aus. Von den Unternehmen, die KI nutzen, sehen sich laut Bitkom 62 Prozent eher als Nachzügler. Ein Drittel berichtet, dass KI deutlich teurer wurde als erwartet.

Der Mechanismus dahinter ist einfach. Wenn eine Sachbearbeiterin eine Mail schneller schreibt, verteilt sich die gesparte Zeit in kleinen Stücken über den Tag. An den Übergaben, den Wartezeiten und den Zuständigkeiten ändert sich nichts. Der eigentliche Engpass bleibt deshalb bestehen, ob es nun die Rückfrage beim Kunden ist, die Suche nach dem letzten Angebot oder die Freigabe, die beim Chef liegt.

Dazu kommt ein zweites Problem, das die MIT-Studie „The GenAI Divide“ von 2025 beschreibt. Laut Fortune brachten dort nur etwa 5 Prozent der KI-Pilotprojekte schnell spürbaren Umsatz. Der Hauptgrund war nicht die Qualität der Modelle. Allgemeine Chat-Werkzeuge lernen nichts über die Abläufe eines Unternehmens und passen sich nicht an sie an. Für den Einzelnen ist diese Flexibilität praktisch. Im Betrieb bedeutet sie, dass jeder bei jeder Anfrage den Kontext neu erklären muss.

Was die Vorreiter anders machen

McKinsey beschreibt die erfolgreichen 6 Prozent recht genau. Fast drei Viertel von ihnen haben wegen der KI ihre Arbeitsabläufe grundlegend umgebaut. Bei den übrigen Unternehmen ist es ein Viertel. Die Vorreiter haben doppelt so oft festgelegte Verfahren, mit denen sie die Wirkung ihrer KI-Projekte messen. Doppelt so oft steht außerdem die Führung sichtbar dahinter. Sie geben zwar auch mehr Geld für KI aus, doch der Abstand beim Umbau der Abläufe ist größer als jeder Abstand beim Budget. Die Stichprobe ist international und stark von Konzernen geprägt. Der Mechanismus hängt aber nicht an der Größe des Unternehmens. Die MIT-Studie kommt zu einem passenden Ergebnis: Erfolgreich sind vor allem Projekte, die Bereichsleiter vorantreiben, und weniger solche aus einer zentralen KI-Abteilung.

Für einen Mittelständler heißt das, eine abgeschlossene Aufgabe an die KI zu übergeben und nicht nur einzelne Handgriffe. Eine solche Aufgabe hat einen Auslöser, ein klares Ergebnis und einen Menschen, der dafür geradesteht. „Der Vertrieb nutzt KI“ beschreibt keine Aufgabe. „Jede Anfrage über die Website ist am selben Tag beantwortet und im CRM erfasst“ dagegen schon.

Für solche Aufgaben gibt es KI-Agenten. Ein KI-Agent beantwortet nicht nur Fragen. Er führt Arbeitsschritte selbst aus, etwa in Mail, Kalender oder CRM, und zwar mit den Rechten, die ihm jemand zugewiesen hat. Die Arbeit verteilt sich dann neu. Menschen legen das Ziel fest, sie bestimmen, auf welche Systeme der Agent zugreifen darf, und sie ziehen Grenzen. Erlaubte Routineschritte erledigt der Agent selbst und ohne Rückfrage. Eine Freigabe braucht er nur dort, wo ein Fehler wirklich etwas kostet, etwa bei einer Zahlung oder einer verbindlichen Zusage an einen Kunden.

Die Zuständigkeit ist dabei der Punkt, an dem die meisten Pilotprojekte scheitern. Wenn niemand für das Ergebnis verantwortlich ist, misst auch niemand, ob es besser wird. Das Projekt bleibt dann ein Test, den irgendwann niemand mehr anschaut.

Firmenwissen ist der eigentliche Engpass

Ein Agent, der Kundenanfragen beantworten soll, muss einiges wissen: welche Preise gelten, welche Sonderkonditionen ein Kunde hat, was beim letzten Auftrag schiefging und wer beim Kunden entscheidet. Im Mittelstand steckt dieses Wissen in Köpfen, Mailordnern, Netzlaufwerken und alten Angeboten. Wenn der Agent keinen Zugriff darauf hat, bleiben ihm zwei Möglichkeiten. Entweder er fragt bei jedem Fall nach, und dann spart niemand Zeit. Oder er rät, und dann macht er Fehler, die ein Mensch wieder auffangen muss.

Die Zahlen zeigen, wie verbreitet diese Lücke ist. Laut Bitkom nutzen 61 Prozent der Unternehmen ihre vorhandenen Daten kaum oder gar nicht. In der DIHK-Umfrage nennen die Betriebe Datensilos und fehlende Infrastruktur als technische Hürden, die erst mit wachsender digitaler Reife kleiner werden.

Firmenwissen zugänglich zu machen, ist kein Wiki-Projekt, das man ein Jahr lang vorbereitet. Es reicht, wenn die KI das Wissen für die eine Aufgabe findet, an der sie gerade arbeitet. Drei Dinge machen den Unterschied:

• Eine gemeinsame Wissensbasis, die über einzelne Chats hinaus bestehen bleibt, damit das Wissen nicht beim einzelnen Mitarbeiter hängen bleibt.
• Zugriffsrechte nach Bereichen, damit der Agent für den Vertrieb keine Personalakten sieht.
• Ein bestätigter Stand für die wichtigsten Fakten wie Preise, Lieferbedingungen und Ansprechpartner, den ein Mensch pflegt.

Korrekturen gehören in diese Wissensbasis zurück. Dann macht der Agent denselben Fehler kein zweites Mal.

Das hat einen Nebeneffekt, der für viele Geschäftsführer schwerer wiegt als die gesparte Zeit. Wissen, das bisher nur ein langjähriger Mitarbeiter hatte, steht jetzt auch anderen zur Verfügung. Die KfW verweist ausdrücklich auf den demografischen Wandel und den Schwund an Arbeitskräften als Grund, sich mit KI zu befassen. Wenn erfahrene Leute in Rente gehen, ist dokumentiertes Wissen mehr wert als jeder schnell geschriebene Text.

Wie das an einem Beispiel aussieht

Nimm den Vertriebsinnendienst eines Herstellers, der Angebote verschickt und dann nicht konsequent nachfasst, weil im Tagesgeschäft immer etwas dringender ist. Die Vertriebsleitung übernimmt die Zuständigkeit für diese Aufgabe und legt den Rahmen fest. Sie bestimmt, welche Angebote nachgefasst werden, wie oft und in welchem Abstand das geschieht, welche Informationen der Agent Kunden mitteilen darf und wann ein Mensch übernimmt.

Innerhalb dieses Rahmens arbeitet der Agent selbst. Er sieht im CRM, welche Angebote offen sind, und schreibt den Kunden zum vereinbarten Zeitpunkt eine Nachfassmail. Fehlende Angaben wie Stückzahl oder gewünschter Liefertermin fragt er nach und trägt die Antworten ein. Den Status im CRM hält er aktuell. Wenn ein Kunde technische Fragen stellt, die in den Produktunterlagen beantwortet sind, antwortet er mit diesen Informationen. Die Vertriebsleitung sieht morgens, was sich bewegt hat.

Bittet ein Kunde um einen Preisnachlass oder einen festen Liefertermin, bereitet der Agent die Antwort vor und legt sie einem Menschen zur Entscheidung vor. Hier geht es um eine verbindliche Zusage, und das Unternehmen trägt das Risiko. Alles davor ist Routine, und für jede Routinemail eine Einzelfreigabe zu verlangen, würde den Nutzen wieder auffressen.

Messen lässt sich das leicht, nämlich am Anteil der Angebote, die überhaupt nachgefasst werden, und an der Zeit bis zur Antwort des Kunden. Beides hat vorher kaum jemand erhoben, weil die Aufgabe keinen festen Platz im Ablauf hatte.

Was den Mittelstand wirklich bremst

Geld ist selten das Haupthindernis. Bei Destatis nennen Unternehmen ohne KI für 2025 andere Gründe weit vor den Kosten: fehlendes Wissen (72 Prozent), unklare Rechtsfolgen (62 Prozent), Datenschutz (60 Prozent), fehlende Kompatibilität mit der vorhandenen IT (45 Prozent) und Probleme mit Daten (44 Prozent). Die Kosten folgen erst mit 32 Prozent. Bitkom bestätigt das Bild für die Digitalisierung insgesamt. Datenschutz (77 Prozent), Fachkräftemangel (70 Prozent) und fehlende Zeit (66 Prozent) stehen vor fehlendem Geld (48 Prozent).

Diese Hürden lassen sich lösen, und zwar meist mit einer Entscheidung statt mit einem Projekt. Bei Datenschutz und Recht wird es konkret, sobald du festlegst, welche Daten in welches Werkzeug dürfen. Dazu gehört auch, wo die Verarbeitung stattfindet, welcher Auftragsverarbeitungsvertrag gilt und wer welche Rechte bekommt. Solange einzelne Mitarbeiter private Konten nutzen, kannst du keine dieser Fragen beantworten. Ein gemeinsames, freigegebenes Werkzeug macht sie dagegen beantwortbar. Fehlendes Wissen löst du nicht mit einer Schulung für alle. Du löst es mit einer ersten Aufgabe, die funktioniert und an der das Team sieht, wie die Arbeit mit einem Agenten aussieht.

Womit du anfangen kannst

Der Anfang ist kleiner, als viele glauben. Wichtig ist, dass er sich vom üblichen Pilotprojekt unterscheidet.

1. Mach eine Bestandsaufnahme. Frag dein Team, wer welche KI-Werkzeuge wofür nutzt, und stell dabei klar, dass niemand Ärger bekommt. Nach den ZEW-Zahlen ist das in vielen Betrieben mehr, als die Geschäftsführung weiß.
2. Such dir eine Aufgabe aus. Sie sollte oft vorkommen und ein klares Ergebnis haben, ein Fehler sollte begrenzten Schaden anrichten, und die nötigen Informationen sollten schon irgendwo liegen. Die MIT-Studie fand den größten Ertrag in der Verwaltung und im Backoffice, auch wenn das meiste Budget in Marketing und Vertrieb fließt.
3. Gib der Aufgabe einen Verantwortlichen. Diese Person legt Ziel, Rechte und Grenzen fest und entscheidet, bei welchen Aktionen der Agent eine Freigabe braucht.
4. Mach zuerst das Wissen zugänglich, das diese eine Aufgabe braucht. Das restliche Firmenwissen kann warten.
5. Miss vorher und nachher zum Beispiel Durchlaufzeit, Rückstand oder Antwortquote.

Nach der ersten Aufgabe kommt die zweite, und sie ist leichter als die erste. Die Wissensbasis, die Rechte und die Erfahrung damit, wie man einem Agenten einen Rahmen setzt, sind dann schon da. Darin liegt der eigentliche Vorsprung der Vorreiter. Sie haben mehrere solcher Runden hinter sich, und jede Runde bringt die nächste schneller zum Laufen.