Acht Wege zu einer besseren Enterprise-Knowledge-Strategie für KI

Wenn KI-Initiativen – ob Copilots oder fortschrittlichere Agentic-AI-Systeme – nicht den gewünschten geschäftlichen Mehrwert liefern, liegt der Verdacht schnell nahe: Es muss an den Daten liegen. Besonders dann, wenn bereits viel in Data Lakes, Plattformen, Warehouses und Dashboards investiert wurde.

Natürlich kann schlechtes Datenmanagement in KI-Umgebungen zu ungenauen Antworten, Halluzinationen und fehlendem Vertrauen im Business führen. Doch die eigentliche Herausforderung geht oft darüber hinaus.

Kurz gesagt: KI arbeitet nicht mit Daten allein. Sie braucht Enterprise Knowledge – also strukturiertes, kontextualisiertes Unternehmenswissen. Und dieses Wissen lässt sich nicht einfach in ein System laden und dann abhaken. Es braucht Struktur, Kontext, klare Verantwortlichkeiten und kontinuierliche Pflege, damit es relevant bleibt.

Aus der Erfahrung von NTT DATA in Enterprise-AI-Projekten ergeben sich acht Ansätze, mit denen Enterprise Knowledge für KI wirksam nutzbar wird.

• LESEN SIE AUCH Jenseits des Hypes: Wie KI messbare Geschäftsergebnisse liefert

1. Machen Sie Enterprise Knowledge zum Treiber Ihrer KI-Performance

Stellen wir uns einen globalen Finanzdienstleister vor, der einen internen KI-Copilot für Customer Relationship Manager einführt. Die Datengrundlage ist solide: saubere Kundendaten, integrierte Produktsysteme und eine moderne Datenplattform. Warum tut sich der Copilot dann trotzdem mit einfachen Fragen schwer, etwa: „Welche Produkte sind für dieses Kundensegment relevant?“

Das Problem: Den Daten fehlt die Bedeutung. Das KI-System hat keinen Zugriff auf eine allgemein akzeptierte Definition von „Kundensegment“. Es versteht die Beziehungen zwischen Produkten und Use Cases nicht und kennt den Kontext der übergreifenden Geschäftsregeln nicht.

Eine Knowledge Layer reichert Daten mit Bedeutung, Kontext und Beziehungen an.

Fazit: Daten zeigen, was passiert ist. Enterprise Knowledge zeigt der KI, was es bedeutet – und was als Nächstes zu tun ist.

2. Einigen Sie sich auf gemeinsame Bedeutungen, bevor Sie KI skalieren

Damit Menschen und KI-Systeme Daten konsistent interpretieren können, ist semantische Standardisierung eine der ersten großen Aufgaben.

In einem Telekommunikationsunternehmen können verschiedene Teams zum Beispiel „aktiver Kunde“ unterschiedlich definieren. Sobald sie unternehmensweite KI-gestützte Analysen nutzen, erhält jedes Team auf dieselbe Frage eine andere Antwort.

Das lässt sich vermeiden, indem ein gemeinsames Verständnis geschaffen wird – mit Business Glossaries, standardisierten Kennzahlen und Definitionen, die systemübergreifend gelten.

Fazit: Wenn Ihr Unternehmen sich nicht auf gemeinsame Definitionen einigen kann, wird Ihre KI das auch nicht können.

3. Verbinden Sie Knowledge Graphs mit Vektorsuche

Worin sollten Unternehmen für besseres Datenmanagement investieren: in Knowledge Graphs oder in Vektordatenbanken?

Nehmen wir ein Gesundheitsunternehmen, das Vektorsuche für einen klinischen Assistenten nutzt. Anfangs funktioniert das gut, weil das System Dokumente aus großen Mengen unstrukturierter Daten abrufen kann. Doch sobald es Compliance-Regeln berücksichtigen oder Behandlungsprotokolle anwenden soll, werden die Antworten unsicher. Retrieval allein reicht nicht aus, wenn Präzision und Schlussfolgerungsfähigkeit gefragt sind.

Mit einem Knowledge Graph lassen sich die Beziehungen zwischen Patient, Behandlungen und Vorschriften modellieren. So versteht der Assistent, wie die einzelnen Elemente zusammenhängen. Seine Antworten werden erklärbar – ein entscheidender Faktor für Compliance – und er kann auch Grenzfälle deutlich sicherer bearbeiten.

Vektoren bieten Flexibilität im Umgang mit unstrukturierten und uneinheitlichen Inhalten. Knowledge Graphs bringen Struktur, Kontext und eine Ebene vertrauenswürdiger Schlussfolgerung hinzu. Für belastbare KI brauchen Sie beides.

Fazit: KI-fähiges Wissen ist immer hybrid gedacht.

4. Behandeln Sie Enterprise Knowledge wie ein Produkt mit Lebenszyklus

Ein Hersteller kann eine solide Wissensbasis für seine Wartungsverfahren aufbauen – und eine Zeit lang funktioniert sie vermutlich gut. Doch sobald sich Prozesse ändern, empfiehlt die KI weiterhin veraltete Anweisungen. Für Maschinenbediener ist das frustrierend.

Der Fehler liegt darin, Wissen als statisch zu betrachten. Tatsächlich verhält es sich eher wie Software: Es braucht Versionierung, Updates, Tests und kontinuierliche Verbesserung. Enterprise Knowledge sollte als lebendiges Asset gemanagt werden. Das bedeutet:

• Dokumentiertes Know-how ebenso erfassen wie das ungeschriebene Erfahrungswissen Ihrer Mitarbeitenden
• Wissen mit klarer Semantik und Klassifikation strukturieren
• Wissen über Pipelines, Graphen und Embeddings hinweg integrieren
• Wissen durch Suche, Agents und Retrieval-Augmented Generation (RAG) aktivieren
• Wissen mit laufenden Qualitätsprüfungen, Updates und sorgfältiger Archivierung aktuell halten

Fazit: Wissen, das nicht gepflegt wird, wird schnell zum Risiko.

5. Machen Sie undokumentiertes Wissen sichtbar

Ein Teil des wertvollsten Wissens in Ihrem Unternehmen steht in keinem Handbuch. Es zeigt sich darin, wie erfahrene Mitarbeitende Entscheidungen treffen, welche Abkürzungen sie nutzen, welche Gespräche sie führen und welche Routinen sie über Jahre entwickelt haben.

Denken wir an ein Logistikunternehmen, in dem die besten Disponent die KI regelmäßig übertreffen, weil sie sich auf Intuition und Erfahrungswerte stützen. Wie kann das Unternehmen dieses implizite Wissen erfassen und wieder in das System einbringen?

• Process Mining: Analysieren Sie reale Ausführungsdaten, um Muster und Entscheidungswege sichtbar zu machen, die hinter formalen Prozessen verborgen sind.
• KI-gestützte Transkription von Entscheidungen: Erfassen und strukturieren Sie Entscheidungsprozesse in Echtzeit, indem Gespräche, Calls und Notizen in nutzbares Wissen übersetzt werden.
• Strukturierte Feedbackschleifen: Schaffen Sie einfache, konsistente Möglichkeiten, mit denen Expert KI-Ergebnisse korrigieren und verfeinern können, damit das System im Laufe der Zeit von ihnen lernt.

Diese Art von Wissen zu erfassen, ist anspruchsvoll und erfordert die richtige Kombination aus Tools, Governance und Fachwissen. Doch der geschäftliche Nutzen ist erheblich.

Fazit: Was nur in den Köpfen Ihrer Mitarbeitenden steckt, kann Ihre KI nicht lernen.

6. Entwickeln Sie Retrieval für KI – nicht für Menschen

Klassisches Wissensmanagement wurde für Menschen entwickelt. KI „sucht“ jedoch nicht so wie wir. Sie stellt genau den Kontext zusammen, den sie für den nächsten Schritt braucht.

Wenn ein Einzelhandelsunternehmen zum Beispiel einen Chatbot auf eine einfache Dokumentsuche aufsetzt, liefert dieser vermutlich lange und wenig relevante Antworten. Denn er ruft ganze Dokumente ab, statt gezielt die Informationen zu finden, die im jeweiligen Kontext gebraucht werden.

Dafür muss die Retrieval Layer neu gedacht werden:

• RAG: Rufen Sie nur die relevantesten Informationsausschnitte ab und nutzen Sie sie, um die Antwort der KI zu fundieren – statt sich auf ganze Dokumente zu verlassen.
• Hybride Suche (Keywords, Semantik und Graphen): Kombinieren Sie exakte Treffer, bedeutungsbasiertes Retrieval und beziehungsbewusste Abfragen, um Präzision und Kontext zusammenzubringen.
• Kontextbewusstes Filtern: Filtern Sie Ergebnisse anhand der Situation – wer fragt, was die Person erreichen will und was gerade relevant ist –, damit die KI nur sieht, was wirklich zählt.

Fazit: Es geht nicht nur um Zugang zu Wissen. Es geht darum, Wissen KI-gerecht nutzbar zu machen.

7. Machen Sie Governance zum Teil des Betriebs

Governance ist in Enterprise AI kein optionales Extra – besonders nicht in stark regulierten Branchen wie Finanzdienstleistungen und Gesundheitswesen.

Nehmen wir eine Bank, die einen KI-Rollout prüft. Wenn nicht nachvollziehbar ist, woher die Daten stammen, wie sie verwendet wurden oder wie verschiedene Wissenselemente zusammenhängen, gerät das Projekt ins Stocken. Denn die Antworten lassen sich weder erklären noch zuverlässig nutzen.

Mit Knowledge Graphs und Governance-Frameworks kann die Bank diese Antworten bis zu ihren Quellen zurückverfolgen, nachvollziehen, wie Entscheidungen entstehen, und im Prozess die passenden Risiko- und Compliance-Regeln anwenden.

Fazit: Ohne Governance entsteht kein Vertrauen – und ohne Vertrauen keine Akzeptanz.

8. Starten Sie fokussiert – aber mit Skalierung im Blick

Wissensmanagement in der gesamten Organisation auf einmal „reparieren“ zu wollen, funktioniert fast nie. Das Vorhaben ist zu breit und zu abstrakt.

Besser ist es, mit einem besonders wertvollen Use Case zu beginnen, etwa im Kundenservice oder in Operations, und darauf aufzubauen. Konzentrieren Sie sich auf wiederverwendbare Bausteine wie Ontologien, Knowledge Pipelines und Retrieval Patterns. Sobald diese ihren Wert gezeigt haben, lassen sie sich auf weitere Bereiche übertragen.

Ein Versorgungsunternehmen könnte zum Beispiel mit einem klar umrissenen Problem starten: natürliche Sprache für operative Daten in SQL zu übersetzen. Wenn das System auf klaren Ontologien, deterministischer Logik und gezielt eingesetzten Large Language Models (LLMs) basiert, entsteht etwas Verlässliches – nicht nur eine weitere Demo.

Fazit: Denken Sie groß, starten Sie fokussiert und skalieren Sie schnell.

Agentic AI erhöht die Anforderungen

Agentic AI macht KI-Systeme deutlich leistungsfähiger – erhöht aber auch die Anforderungen. Eine gute Enterprise-Knowledge-Strategie sollte diese Systeme zuverlässiger und erklärbarer machen.

Wenn Sie Ontologien und strukturiertes Wissen nutzen, um Nutzerabsichten deterministisch aufzulösen, und das Large Language Model (LLM) nur dann einsetzen, wenn es wirklich gebraucht wird – mit Ausgaben, die durch Kontext und Regeln begrenzt werden –, wird die Knowledge Layer zum eigentlichen Steuerungszentrum. Mehr noch als das LLM selbst.

Das gelingt, wenn Sie nicht mehr darauf setzen, dass das Modell alles allein herausfindet. Nutzen Sie Ontologien und strukturiertes Wissen, um Absichten dort aufzulösen, wo es möglich ist.

Binden Sie das LLM ein, wenn es Mehrwert schafft, und halten Sie es auch dann mit dem richtigen Kontext und klaren Constraints auf Kurs. An diesem Punkt übernimmt die Knowledge Layer den Großteil der Arbeit. Das Modell wird zu einer Komponente – nicht zum Zentrum des Systems.

Wenn es ein abschließendes Fazit gibt, dann dieses: KI ist ein Wissensproblem, kein Modellproblem. Behandeln Sie Wissen wie ein echtes Asset, dann fügt sich vieles andere leichter zusammen.

• LESEN SIE AUCH: Warum Kommunikation zum nächsten Engpass für Enterprise AI wird

IHR NÄCHSTER SCHRITT

Erfahren Sie mehr über die KI-Services von NTT DATA und wie wir Sie dabei unterstützen, KI in Ihrem gesamten Unternehmen operativ nutzbar zu machen.