Was erhalten Sie, wenn Sie zwei der aufstrebendsten Paradigmen in der Datenverarbeitung kombinieren – Streaming und Graphen? Wahrscheinlich ein potenzieller Spielveränderer, zumindest wird das von Leuten wie DARPA und jetzt von CrowdStrike angedeutet Falkenfonds, auf die gewettet wird Dieser Punkt und sein Open-Source-Framework Quine.

Der CrowdStrike Falcon Fund ist ein von CrowdStrike in Partnerschaft mit Accel verwaltetes Anlagevehikel, das phasenübergreifende private Investitionen in Cybersicherheit und angrenzende Märkte tätigt.

DARPA ist auch dafür bekannt, ein Interesse an Cybersicherheit zu haben, was nach Angaben des Unternehmens seine Entscheidung motiviert hat, die Entwicklung des neuen Frameworks zu finanzieren, das kürzlich von ThatDot als Open-Source-Projekt veröffentlicht wurde.

Während auf dem Markt viele Lösungen sowohl für die Streaming-Datenverarbeitung als auch für die Graphenanalyse existieren, die oft zusammen arbeiten, behauptet Ryan Wright, Mitbegründer und CEO von ThatDot, dass die Technologie von Quine einzigartig ist und es ihr ermöglicht, auf Größenordnungen zu skalieren, die über die Fähigkeiten anderer hinausgehen Systeme

Wright diskutierte mit VentureBeat die wichtigsten Prämissen hinter Quine und ThatDot sowie die praktischen Aspekte der Verwendung von Quine und die nächsten Schritte in seiner Entwicklung.

Diagrammanalyse und Stream-Verarbeitung

„Graph Relates Everything“ (Graph bezieht sich auf alles) – so formulierte Gartner die Argumentation hinter der Aufnahme von Graphen in seine Top 10 Daten- und Analysetechnologie Trends für 2021. Der Markt für Streaming-Analysen wird jedoch voraussichtlich von 15,4 Milliarden US-Dollar im Jahr 2021 auf 50,1 Milliarden US-Dollar im Jahr 2026 wachsen, bei einer durchschnittlichen jährlichen Wachstumsrate (Compound Annual Growth Rate, CAGR) von 26,5 % im Prognosezeitraum wie von Markets and Markets berichtet.

Dennoch sagte Wright, dass die Verarbeitung riesiger Datenmengen, die durch das Unternehmen kommen, nicht gut in eines dieser Paradigmen passt. Quine wurde entwickelt, um Ereignis-Streaming- und Diagrammdatentechnologien zu kombinieren, um eine Verbindung zu vorhandenen Datenströmen herzustellen und Daten in einem zustandsbehafteten Diagramm zu erstellen.

„Es ist wie eine Graph-Datenbank, aber es ist wirklich für Stream-Processing-Anwendungen gedacht. Es ist bekannt, dass Graphdatenbanken zu den langsamsten in der Welt der Datenspeicherung gehören. Neue Technologie bedeutet, dass Quine diesen Raum mit Fähigkeiten betreten kann, die zuvor unmöglich waren“, sagte Wright.

Laut Wright konnten Kunden von Thatdot Quine verwenden, um über eine Million Ereignisse pro Sekunde zu verarbeiten, wo frühere Graph-Technologien möglicherweise in einem Event-Stream-Verarbeitungssystem mit ein paar tausend Ereignissen pro Sekunde ausgeführt werden konnten.

Und die Tatsache, dass Quine zustandsbehaftet ist, macht es geeignet, einige kritische, schwer zu lösende Herausforderungen anzugehen. Wright sagte, dass dies der Grund sei, warum Cybersicherheit ein Hauptanwendungsbereich für Quine sei und der Grund, warum es DARPA-Mittel erhalten habe.

„Das Ziel bestand darin, neue Techniken und Technologien zur Erkennung fortschrittlicher persistenter Bedrohungen zu entwickeln. Und die Herausforderung bei Advanced Persistent Threats, bei der ein ausgeklügelter Angreifer in eine Unternehmensumgebung eindringt und sich dort unbemerkt aufhält. Was ist daran schwer [is that there is] ständig eine riesige Datenmenge.

Wir haben Tools, die Daten verarbeiten können, aber um den Angreifer zu finden, müssen Sie neue Daten nehmen, die gerade angekommen sind. Also, was der Angreifer gerade tut, und Sie müssen es mit Daten kombinieren, die Wochen oder Monate alt sein können. Die Nadel im Heuhaufen muss in Echtzeit mit der eingehenden Nadel im gerade angekommenen Heuhaufen verbunden werden“, sagte Wright.

Obwohl zu diesem Zeitpunkt keine Benchmarks oder Kundennamen geteilt werden, sind die von Wright geteilten Kennzahlen beeindruckend und der Vertrauensbeweis der Anleger ist echt. Vor seiner Crowdstrike-Investition und anderen Investitionen sammelte ThatDot 2 Millionen US-Dollar an Seed-Finanzierung. Das Unternehmen gibt die Höhe der Crowdstrike-Investition nicht bekannt und plant, später im Jahr 2022 eine Serie A aufzulegen.

Neben der Cybersicherheit umfassen weitere Anwendungsfälle für Quine die Blockchain-Analyse, Überwachung und Analyse von CDN und MLops im großen Maßstab mit Kubernetes sowie die Verwendung durch traditionelle Finanzinstitute und andere Fintech-Unternehmen. Was ist also die Innovation, die es Quine ermöglicht, bestehende Systeme zu übertreffen und diese Anwendungsfälle zu erschließen?

Quine unter der Haube

Das Whitepaper von ThatDot identifiziert drei Entwurfsentscheidungen, die Quine definieren: ein graphenstrukturiertes Datenmodell, ein asynchrones akteurbasiertes graphenbasiertes Berechnungsmodell und ständige Abfragen, Quines Lösung für die Herausforderungen, die die Zeit in verteilten Systemen darstellt. Da das Diagrammdatenmodell gut verstanden ist und auch mit vielen anderen Lösungen geteilt wird, wollen wir das Akteurmodell und die ständigen Abfragen untersuchen.

Die Berechnung in Quine basiert auf dem Akteurmodell mit Akka. Ein Akteur, der erstmals 1973 von Carl Hewitt beschrieben wurde, ist ein leichtgewichtiger Singlethread-Prozess, der den Zustand kapselt und nur durch Nachrichtenübermittlung mit der Außenwelt kommuniziert. Ein Akteur empfängt Nachrichten in seiner Mailbox und führt die entsprechende kleine Berechnung durch.

Stehende Abfragen sind die zentrale Innovation im Herzen von Quine. Das bedeutet, dass Abfragen einmal formuliert werden und anschließend innerhalb des Diagramms leben, wie Wright erklärte: „Sie legen es ein und es propagiert automatisch durch das Diagramm. Es bedeutet, dass Antworten zu Ihnen zurückkommen. Du musst nicht immer und immer wieder fragen – hast du jetzt meine Antwort? Hast du jetzt meine Antwort?“.

Wie Wright es ausdrückte, ist Quine vollständig asynchron, verteilt und läuft in einer grafisch strukturierten Weise, die dem grafisch strukturierten Datenmodell entspricht. Akka und das Actor-Model sind nicht das Ding des durchschnittlichen Entwicklers, werden aber auch nicht benötigt, um das System nutzen zu können. Abfragen und Datenerfassungsmuster können in Cypher ausgedrückt werden, einer der am weitesten verbreiteten Abfragesprachen für Grafiken.

Die Quine-Community teilt auch sogenannte Rezepte, dh gepackte Konfigurationen für das Einströmen von Daten, das Erstellen eines Diagramms, das Überwachen dieses Diagramms und das Ausströmen von Daten. Ein Beispiel könnte das Erfassen von Serverprotokollen, das Erstellen eines Diagramms daraus, das Überwachen von Aktivitäten und das Anzeigen von Ergebnissen in einem Dashboard sein. Laut Wright gibt es eine wachsende Sammlung von Rezepten, die die Verwendung von Quine mühelos machen.

Um eingehende Daten in Echtzeit mit historischen Daten kombinieren zu können, ist natürlich ein zugrunde liegender Speicher erforderlich. Quine kann mit mehreren Optionen verwendet werden, von RocksDB für die lokale Speicherung bis hin zu Apache Cassandra und Amazon S3.

Obwohl es derzeit keine vollständig verwaltete Version von Quine gibt, bietet ThatDot eine Unternehmensversion an. Die Unternehmensversion von Quine konzentriert sich auf Funktionen rund um das robuste Clustering des Systems und die Skalierung auf beliebig große Datenmengen, sodass Sie bis zu Millionen pro Sekunde oder mehr erreichen können, wie Wright feststellte.

Der Fokus von ThatDot liegt in der unmittelbaren Zukunft darauf, der Open-Source-Community von Quine zu dienen. Wie Wright mitteilte, sieht Quine eine große Akzeptanz und viele aufregende Anwendungsfälle, die aus dieser Community hervorgehen. ThatDot zielt darauf ab, mehr Bildungsressourcen zu schaffen und die Interessenvertretung von Entwicklern zu fördern. Das in Portland, Oregon, ansässige Unternehmen verdoppelte seine Mitarbeiterzahl im Jahr 2021 und stellt im Rahmen seiner Pläne, die Zahl der Mitarbeiter bis Ende 2022 landesweit zu verdoppeln, aggressiv ein.

In Bezug auf die Roadmap positionierte Wright Quine als „eine Plattform für die nächste Generation von KI, die gerade entsteht und die Forschungslabore verlässt: die Graph-KI-Generation“. Wright verwies auf neue Techniken rund um Graph-Recommender-Systeme, Graph-Neuralnetzwerke und Graph-Anomalie-Erkennung und lud Unternehmensanwender, die Anwendungen für diese kommende Generation von Technologien haben, zu Quine ein.