Large Language Models (LLMs) haben eine Revolution im Bereich der künstlichen Intelligenz eingeleitet. Die Veröffentlichung von chatgpt hat die Ära der LLMs eingeleitet, und seitdem konnten wir beobachten, wie sie sich ständig verbesserten. Diese Modelle werden mit riesigen Datenmengen ermöglicht und haben uns mit ihren Fähigkeiten beeindruckt, von der Beherrschung des Sprachverständnisses bis hin zur Vereinfachung komplexer Aufgaben.

Es wurden zahlreiche Alternativen zu ChatGPT vorgeschlagen, und sie wurden von Tag zu Tag besser und schafften es sogar, ChatGPT bei bestimmten Aufgaben zu übertreffen. LLaMa, Claudia, Falcon und mehr; Die neuen LLM-Modelle erobern den Thron des ChatGPT.

Es besteht jedoch kein Zweifel daran, dass ChatGPT immer noch das mit Abstand beliebteste LLM auf dem Markt ist. Es besteht eine sehr hohe Wahrscheinlichkeit, dass Ihre bevorzugte KI-gestützte App wahrscheinlich nur ein ChatGPT-Wrapper ist, der die Verbindung für Sie übernimmt. Aber wenn wir einen Schritt zurücktreten und über die Sicherheitsperspektive nachdenken: Ist sie wirklich privat und sicher? OpenAI sorgt dafür Schutz des API-Datenschutzes ist etwas, das ihnen sehr am Herzen liegt, mit dem sie aber konfrontiert sind zahlreiche Klagen gleichzeitig. Auch wenn sie wirklich hart daran arbeiten, die Privatsphäre und Sicherheit der Modellnutzung zu schützen, können diese Modelle zu mächtig sein, um kontrolliert zu werden.

Wie stellen wir also sicher, dass wir die Leistungsfähigkeit von LLMs nutzen können, ohne Bedenken hinsichtlich Datenschutz und Sicherheit zu haben? Wie können wir die Leistungsfähigkeit dieser Modelle nutzen, ohne sensible Daten zu gefährden? Treffen wir uns PUMA.

PUMA ist ein Framework, das eine sichere und effiziente Auswertung von Transformer-Modellen ermöglicht und gleichzeitig die Sicherheit Ihrer Daten gewährleistet. Es vereint sichere Mehrparteienberechnung (MPC) mit effizienter Transformer-Inferenz.

Im Kern, PUMA führt eine neuartige Technik zur Approximation der komplexen nichtlinearen Funktionen in Transformer-Modellen wie GeLU und Softmax ein. Diese Näherungen sind darauf zugeschnitten, die Genauigkeit beizubehalten und gleichzeitig die Effizienz erheblich zu steigern. Im Gegensatz zu früheren Methoden, die möglicherweise die Leistung beeinträchtigen oder zu komplizierten Bereitstellungsstrategien führen, gleicht der Ansatz von PUMA beide Welten aus – er stellt genaue Ergebnisse sicher und behält gleichzeitig die für reale Anwendungen erforderliche Effizienz bei.

PUMA stellt drei zentrale Einheiten vor: den Modellbesitzer, den Kunden und die Computerparteien. Jede Entität spielt eine entscheidende Rolle im sicheren Inferenzprozess.

Der Modellbesitzer stellt die trainierten Transformer-Modelle bereit, während der Client die Eingabedaten beisteuert und die Inferenzergebnisse erhält. Die Computerparteien führen gemeinsam sichere Berechnungsprotokolle aus und stellen so sicher, dass Daten und Modellgewichte während des gesamten Prozesses sicher geschützt bleiben. Das Grundprinzip von PUMADer Inferenzprozess besteht darin, die Vertraulichkeit der Eingabedaten und -gewichte zu wahren und so die Privatsphäre der beteiligten Entitäten zu wahren.

Die sichere Einbettung, ein grundlegender Aspekt des sicheren Inferenzprozesses, umfasst traditionell die Generierung eines One-Hot-Vektors mithilfe von Token-Identifikatoren. Stattdessen, PUMA schlägt ein sicheres Einbettungsdesign vor, das sich eng am Standard-Workflow von Transformer-Modellen orientiert. Dieser optimierte Ansatz stellt sicher, dass die Sicherheitsmaßnahmen die inhärente Architektur des Modells nicht beeinträchtigen, wodurch die Bereitstellung sicherer Modelle in praktischen Anwendungen vereinfacht wird.

Darüber hinaus besteht eine große Herausforderung bei sicherer Inferenz darin, komplexe Funktionen wie GeLU und Softmax so zu approximieren, dass Recheneffizienz und Genauigkeit in Einklang gebracht werden. PUMA geht diesen Aspekt an, indem genauere Näherungen entwickelt werden, die auf die Eigenschaften dieser Funktionen zugeschnitten sind. Durch die Nutzung der spezifischen Eigenschaften dieser Funktionen können PUMA erhöht die Präzision der Approximation erheblich und optimiert gleichzeitig Laufzeit und Kommunikationskosten.

Schließlich stellt LayerNorm, eine entscheidende Operation innerhalb des Transformer-Modells, aufgrund der Division-Quadrat-Wurzel-Formel besondere Herausforderungen bei der sicheren Inferenz dar. PUMA Behebt dieses Problem, indem es den Vorgang mithilfe sicherer Protokolle intelligent neu definiert und so sicherstellt, dass die Berechnung von LayerNorm sowohl sicher als auch effizient bleibt.

Eines der wichtigsten Merkmale von PUMA ist die nahtlose Integration. Das Framework ermöglicht eine durchgängige sichere Inferenz für Transformer-Modelle, ohne dass größere Änderungen an der Modellarchitektur erforderlich sind. Das bedeutet, dass Sie vorab trainierte Transformer-Modelle mit minimalem Aufwand nutzen können. Unabhängig davon, ob es sich um ein von Hugging Face oder einer anderen Quelle heruntergeladenes Sprachmodell handelt, PUMA hält die Dinge einfach. Es passt sich dem ursprünglichen Arbeitsablauf an und erfordert keine komplexen Umschulungen oder Änderungen.

Besuche die Papier Und Github-Link. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 29k+ ML SubReddit, Über 40.000 Facebook-Community, Discord-Kanal, Und E-Mail-Newsletterwo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Wenn Ihnen unsere Arbeit gefällt, folgen Sie uns bitte weiter Twitter