Lokale KI & RAG

Viele Unternehmen sitzen auf einem großen Bestand an Wissen: Artikel, Handbücher, Protokolle, Angebote. Eine klassische Volltextsuche findet darin nur, was wörtlich passt. Mit Retrieval-Augmented Generation (RAG) wird dieses Wissen über die Bedeutung erschließbar, und jede Antwort verweist auf ihre Quelle.

Nicht nur Text

RAG funktioniert nicht nur mit Texten. Wir erschließen auch 2D-Bilder, Videos und Audiodateien: Bildarchive lassen sich per Beschreibung durchsuchen, Videos nach ihrem Inhalt und Audiodateien nach Wörtern, Klangähnlichkeit oder der Bedeutung ihrer Beschreibung. So wird auch ein Medienarchiv zu durchsuchbarem Wissen.

Mehr als Sprachmodelle

Lokale KI ist mehr als ein Chatfenster. In einem eigenen Werkzeug haben wir über 40 lokale KI-Modelle in einer einzigen Anwendung eingebunden: für Bilder, 3D-Modelle, Texturen, Rigging und Animation. Ein zweites Werkzeug erzeugt Soundeffekte, Stimmen und Musik. Diese Erfahrung bringen wir in Kundenprojekte ein:

• Modelle portieren: Wir setzen Modelle aus PyTorch-Formaten nach ggml um, damit sie in C++-Engines statt in einer Python-Umgebung laufen, und vergleichen das Ergebnis mit dem Original.
• Forschung zu Software machen: Verfahren aus aktuellen Forschungsarbeiten bauen wir in lauffähige Anwendungen ein.
• Viele Modelle, eine Anwendung: Die Modelle rechnen in eigenen Prozessen, getrennt von der Oberfläche. So lässt sich der Grafikspeicher zwischen den Aufgaben vollständig freigeben.
• Hardware nach Wahl: Dieselbe Anwendung läuft auf dem Prozessor und auf Grafikkarten von Nvidia und AMD.
• Lizenzen im Blick: Für jedes Modell halten wir fest, woher es stammt und ob es kommerziell genutzt werden darf.

Ihre Daten bleiben im Haus

Wir bauen solche Systeme so, dass die Daten in Ihrer Umgebung bleiben: Die Embeddings entstehen lokal, Index und Suche laufen auf Ihrer Hardware. Ob ein Sprachmodell die Antwort formuliert und wo es läuft, entscheiden wir gemeinsam anhand Ihrer Daten.