Vasily Krikunov, KI-Experte bei Axenix

Die Wirtschaft verfolgt aktiv die Entwicklung von Lösungen auf Basis generativer künstlicher Intelligenz (GenAI). Nach einer Phase des Experimentierens erkannten Unternehmen, wie sie GenAI unter Berücksichtigung regionaler Einschränkungen an die Besonderheiten ihrer Aufgaben anpassen können. Es gibt jedoch ein Problem: Die Nutzung der chatgpt-API für eine Reihe von Unternehmen in Russland erwies sich aufgrund interner Richtlinien zur Informationssicherheit als unmöglich.

Russischer Chatbot: Wie ist das?

Auf dem russischen Markt ist ein klarer Trend zu erkennen: Unternehmen bevorzugen generative Open-Source-KI-Modelle (z. B. Llama, Gemma, Wizard, Qwen) sowie domänenspezifische (schmales Profil) Chatbots, die nicht nur die Anforderungen erfüllen IBaber auch durchführen Digitalisierung spezifische Geschäftsprozesse.

Eine der wichtigsten Architekturen zum Erstellen domänenspezifischer Chats istbot Basierend auf generativer KI ist die RAG-Architektur (Retrieval-Augmented Generation). RAG ist eine Methode zum Arbeiten mit großen Sprachmodellen, bei der der Benutzer eine eigene Anfrage schreibt, zu der auf Programmebene zusätzliche Informationen aus beliebigen externen Quellen „gemischt“ und der Eingabe des Sprachmodells zugeführt werden.

Mit anderen Worten: RAG fügt dem Anfragekontext des Sprachmodells automatisch Informationen hinzu, auf deren Grundlage dem Benutzer eine vollständigere und genauere Antwort gegeben werden kann.

Wie es funktioniert?

Der Prozess beginnt mit der Auswahl einer geeigneten Datenbank – sie kann vektorbasiert (ChromaDB, QDrant), dokumentorientiert (ElasticSearch, OpenSearch), relational (PostgreSQL, MySQL, Orakel) oder grafische Darstellung von Daten (Neo4J, OrientDB). Die Datenbank wird zur Grundlage für das Speichern und Abrufen von Informationen.

Als nächstes wird ein KI-Modell angebunden, das die Wissensdatenbank als Quelle nutzt. Die Interaktion mit dem Modell erfolgt in natürlicher Sprache: Der Benutzer formuliert eine Abfrage und der Retriever (ein Tool innerhalb der RAG-Architektur) wählt mithilfe von Methoden zur Bewertung der semantischen Nähe der Frage und des Fragments die am besten geeignete Information aus.

Wenn ein relevantes Fragment gefunden wird, übergibt der Retriever es an den Modellkontext und generiert eine Antwort. Alles ist so arrangiert, als würde jemand einer Person mit Hilfe von Hinweisen helfen, die richtige Antwort zu formulieren.

KI-Modelle, die ohne Internetverbindung einfach und kostengünstig bereitzustellen und zu betreiben sind, sind möglicherweise nicht in der Lage, komplexe Abfragen zu verarbeiten. Die RAG-Architektur ermöglicht es jedoch, solche Einschränkungen auch auf „Budget“-Basis zu kompensieren. KI-Modelle Gewährleistung qualitativ hochwertiger Antworten.

Dieser Ansatz funktioniert individuell angepasst Chatbots zur generativen KI sind nicht nur zugängliche, sondern auch wirksame Werkzeuge für Unternehmen in der Russischen Föderation, trotz der Einschränkungen der Interaktion mit ChatGPT und Entscheidungen anderer ausländischer Anbieter.

Ein Beispiel für alle

Ein Beispiel für die Wirksamkeit von Domain-Chat istbot kann dazu dienen, „zu schaffen“medizinisch» KI-Assistent.

Der Prozess beginnt mit der Vorbereitung Datenbank für die medizinische Forschung, die nicht nur die thematische Sättigung der Datenbank, sondern auch die Formatierung und Strukturierung der Daten umfasst.KI-Modell legt die Reihenfolge der Abfrageverarbeitung fest: Zugriff auf die Datenbank, Suche relevant Fragmente, sendet sie zur Verarbeitung und zum Entladen an das Modell.

Ein weiteres Beispiel: Erstellen digitaler Assistent Lieferketten optimieren (Lieferkette). Gebraucht Rahmen SCOR verfügt über eine Baumstruktur, weshalb die Verwendung einer Diagrammdatenbank zum Speichern von Informationen vorzuziehen ist.

Der Arbeitsprozess ist ähnlich: Zunächst wird nach dem Diagrammknoten gesucht, der die relevantesten Informationen speichert. Anschließend werden Informationen aus diesem Knoten und allen seinen untergeordneten Knoten vom Retriever extrahiert und an den Modellkontext gesendet, um eine Antwort zu generieren.

Dies ist eine allgemeine Vorlage zum Erstellen einer domänenspezifischen Vorlage Plaudern-ein Bot, der in einem engen Wissensbereich effektiv arbeiten kann. Durch die Verwendung von Open-Source-Komponenten für die RAG-Architektur können Sie ein kostengünstiges Tool für die Arbeit mit spezifischen Brancheninformationen erstellen.

Durch Dornen

Die Implementierung von Plattformen zur Einführung generativer KI-Bots in Russland steht heute vor einer Reihe von Schwierigkeiten.

Eine der Hauptaufgaben ist Design Architektur, angesichts der möglichen Präsenz vieler austauschbarer Modelle innerhalb einer solchen Plattform. Darüber hinaus erfordert die Datenaufbereitung nicht nur ihre Platzierung in DBsondern auch das Generieren von Beschreibungen von Feldern in Tabellen und anderen notwendigen Metadaten – und das ist mühsame, oft fast vollständig manuelle Arbeit.

Open Source Generative KI-Modelle, die über bis zu 70 Milliarden Parameter verfügen, decken den aktuellen Bedarf recht gut ab. Allerdings müssen hier deren Kosten und Anforderungen an IT-Ressourcen im Vergleich zur Nutzung berücksichtigt werden API OpenAI.

Mit einigen Modifikationen (Feinabstimmung, RAG) bewältigen sie jedoch die meisten Aufgaben der Textmodalität perfekt und bieten das erforderliche Niveau Informationssicherheit Und SLA. Daher ist es wichtig, dass die heimische KI-Industrie nicht mit ihr konkurriert OpenAIsondern um Unternehmen bei der Integration solcher Tools zu unterstützen IT-Landschaft um den Geschäftswert schnell zu erkennen.

Beispielsweise mag die Optimierung des Betriebs eines Hüttenwerks mithilfe eines Chatbots für große Player weniger interessant sein, stellt aber ein einzigartiges Nischenprojekt dar. Es erfordert einen speziellen Ansatz, und dann treten kleine, aber branchenkompetente Entwickler und Integratoren in den Vordergrund.

Können wir?

In Russland Marktführer entwickeln aktiv KI, und auch wenn sie nicht direkt zusammenarbeiten, interagieren sie und koordinieren ihre Bemühungen. Auf der Ebene Ingenieure und technischen Spezialisten findet ein kontinuierlicher Dialog und Austausch statt, der es ihnen ermöglicht, ihre Kräfte zu bündeln, um leistungsstarke Lösungen zu schaffen.

Jemand hat Kader und technologischer Basis, einige mit finanziellen Ressourcen und GR-Unterstützung, andere mit Branchenkompetenzen. Durch die Bündelung der Anstrengungen kann ein Synergieeffekt entstehen, der zu einer erfolgreichen Lösung einer Reihe aktueller Probleme führen kann.

Es ist jedoch wichtig, sich dessen bewusst zu sein PersonalmangelInvestitionen in wissensintensiv Produktion und Wissenschaft im Allgemeinen sowie die Deindustrialisierung im Hinblick auf die Entwicklung eigener Hardware und die völlige Abhängigkeit von der Lieferung ausländischer Komponenten haben uns um Jahre zurückgeworfen.

Unsere Aufgabe besteht darin, Wege zu finden, diesen Rückstand koordiniert aufzuholen. Das Problem der Reindustrialisierung ist äußerst akut, komplex und erfordert systemische Lösungen.

Private Vereinbarungen zwischen Entwicklungsunternehmen und Anbietern können die Entwicklung des KI-Segments anregen, indem sie Vorzugstarife für den entsprechenden Stack bereitstellen – Maschinen in der optimalen Konfiguration, Software, Abrechnung usw.

Der Hauptvorteil Russlands ist die Stärke der horizontalen Verbindungen sowohl zwischen Spezialisten als auch auf Unternehmensebene.

■ erid:LjN8KK6EUInserent: Akstim LLCTIN/OGRN: 7705476338/1027705028405Website: https://axenix.pro/