Ein Startup, das sich auf die Entwicklung benutzerdefinierter KI-Modelle für große Unternehmen konzentriert, hat die öffentliche Einführung von Reka Core angekündigt, einem multimodalen Sprachmodell, das Text-, Bild-, Video- und Audioeingaben verarbeiten kann.

Unternehmen für Unternehmenssoftware Köstliche KI wurde 2022 von Forschern von Googles DeepMind, dem chinesischen Technologieriesen Baidu und Meta gegründet. Es ist bereits 60 Millionen US-Dollar an Fördermitteln gesammelt von Investoren wie New York Life Ventures, Radical Ventures, Snowflake Ventures, DST Global und dem Investor-Unternehmer Nat Friedman.

Reka Core ist das bisher größte und leistungsfähigste Modell des Unternehmens. Und Reka AI – unter Bezugnahme auf eigene Tests – sagt, dass es sich gut gegen viele viel größere, gut finanzierte Modelle behaupten kann. In einem Forschungsbericht Durch die Zusammenfassung der Ergebnisse mehrerer synthetischer Benchmarks behauptet Reka, dass sein Core-Modell mit KI-Tools von OpenAI, Anthropic und google konkurrieren kann.

Eine der Schlüsselmetriken ist MMMU, der Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark. Dabei handelt es sich um einen Datensatz, der dazu dient, die Fähigkeiten großer Sprachmodelle (LLMs) in Bezug auf multimodales Verstehen und Denken auf einem Niveau zu testen, das mit dem von menschlichen Experten vergleichbar ist.

„Core ist bei MMMU mit GPT-4V vergleichbar, übertrifft Claude-3 Opus bei unserer von einem unabhängigen Dritten durchgeführten multimodalen menschlichen Bewertung und übertrifft Gemini Ultra bei Videoaufgaben“, so Reka AI sagte in seiner Forschungsarbeit. „Bei Sprachaufgaben ist Core in etablierten Benchmarks mit anderen Frontier-Modellen konkurrenzfähig.“

Wenn es darum geht, Videoeingaben zu verstehen, gemessen mit dem Perception-Test-Benchmark, schlägt Core Gemini Ultra, das einzige andere videofähige Modell.

Bild: Reka AI

Insgesamt verfügt Reka Core über multimodale (Bild- und Video-)Fähigkeiten, gute Denkfähigkeiten, kann Code generieren und verfügt über mehrsprachige Sprachkenntnisse. Die Nutzung der Chatbot-Schnittstelle ist kostenlos, Reka Core ist auch per API verfügbar. Für den API-Zugriff können Entwickler damit rechnen, 10 US-Dollar pro 1 Million Token und 25 US-Dollar für die gleiche Anzahl an Ausgabe-Tokens zu zahlen.

Allerdings hat das Modell mit langen Eingabeaufforderungen zu kämpfen. Die kostenlose Version verarbeitet aus Effizienzgründen nur 4.000 Kontext-Tokens – mit einem erweiterten Kontext von bis zu 128.000 Tokens, so Reka. Konkurrenzmodelle von OpenAI, Anthropic und Google haben ein Standardkontextfenster von 128.000, wobei experimentelle Versionen bis zu 1 Million Token verarbeiten.

Reka Core wurde über mehrere Monate hinweg von Grund auf auf Tausenden von GPUs trainiert. Das Unternehmen gab an, Textdaten aus 32 Sprachen verwendet zu haben, wodurch fließend Englisch sowie mehrere asiatische und europäische Sprachen gesprochen würden. Die Entwickler geben an, dass das Programm auch mehrsprachiges Training aus einem Wikipedia-Datensatz mit 110 Sprachen übernommen hat, was ihm begrenzte Grundkenntnisse in vielen ungewöhnlichen Sprachen und Dialekten verschafft.

Reka Core gibt es für kostenloser Test, ist aber kein Open Source. Reka AI arbeitet nach eigenen Angaben mit vielen führenden globalen Technologieplattformen und Regierungsorganisationen wie Snowflake, Oracle und AI Singapore zusammen.

Designtests

Entschlüsseln Stellen Sie Reka Core auf die Probe öffentliche Chatbot-Schnittstelle. Es sieht dem von chatgpt ziemlich ähnlich und verwendet ein Dark-Mode-Display mit blauen und violetten Highlights.

Visuelle Fähigkeiten

Die visuellen Fähigkeiten von Reka Core sind beeindruckend, es ist jedoch wichtig zu beachten, dass keine Bilder wie ChatGPT Plus, Meta AI oder Google Gemini generiert werden können.

Allerdings sind die Bildverarbeitungsfunktionen von Reka schnell und genau, was es zu einem großartigen Werkzeug für Aufgaben macht, die eine visuelle Analyse erfordern.

In unseren Tests war Reka schneller als GPT-4 und lieferte genaue Ergebnisse – sowohl bei der Aufforderung, etwas zu beschreiben, als auch bei der kontextbezogenen Verwendung visueller Informationen zur Beantwortung einer Aufgabe. Wir zeigten Reka zum Beispiel ein Foto vom Eiffelturm und fragten sie, was wir tun könnten, um ein Wochenende in dieser Stadt zu genießen. Reka verstand den Kontext und gab uns einen Reiseplan mit Sehenswürdigkeiten in Paris – ohne den Eiffelturm.

Reka AI scheint sich darüber im Klaren zu sein, wie gut die visuellen Fähigkeiten ihres Modells im Vergleich zur Konkurrenz sind. Sie bauten eine besondere Vitrine mit Beispielen verschiedener Ausgaben von Reka, GPT-4 und Claude 3 Opus.

Reka schreibt Code

Reka Core ist ein leistungsfähiger Codierungsassistent, weist jedoch einige Einschränkungen auf. In EntschlüsselnBei der Reka-Prüfung war eine sorgfältige Formulierung erforderlich, um genaue Ergebnisse zu liefern, da sie alles sehr wörtlich nimmt. Für unerfahrene Benutzer, die nicht wissen, wie man Dinge so erklärt, dass Reka sie versteht, kann dies eine Herausforderung sein.

Sobald die Eingabeaufforderungen richtig formuliert sind, kann Reka guten Code und zufriedenstellende Ergebnisse generieren.

Entschlüsseln hat das Model gebeten, den Code für ein Spiel zu erstellen, das nicht existiert. Das erste Ergebnis funktionierte nicht – obwohl es tatsächlich genau das schrieb, was wir verlangten. Als wir expliziter waren und unsere Eingabeaufforderung umformulierten, erstellte sie beim ersten Versuch funktionierenden, aber unvollständigen Code mit besseren Ergebnissen als die von Claude 3 Opus bereitgestellten.

Das Codebeispiel ist verfügbar Hier – zusammen mit den von anderen LLMs generierten Versionen.

Reka verfügt über starke Sicherheitseinstellungen

Reka Core verfügt über integrierte Sicherheitskontrollen und weigert sich, Ergebnisse zu generieren, die als schädlich oder unethisch gelten, selbst wenn sie legal sind. Es weigerte sich beispielsweise, Tipps für die Verführung des Liebespartners eines Freundes zu geben.

In unseren Tests widersetzte sich Reka den grundlegenden Jailbreak-Techniken und verhielt sich neutraler als andere Modelle wie GPT-4, Llama-3 und Claude. Auf kontroverse Themen wie Geschlechtsidentität und politische Ideologien antwortete Reka ausgewogen und unvoreingenommen.

In einem anderen Beispiel lieferte es Argumente für und gegen den Kapitalismus und den Sozialismus – obwohl es die Aufgabe hatte, zu entscheiden, welches Modell das beste sei. Als Reka gebeten wurde, eine Frau zu definieren, lieferte sie eine detaillierte und differenzierte Antwort, die sowohl biologische als auch soziologische Faktoren berücksichtigte, und definierte eine Frau konkret als „einen erwachsenen weiblichen Menschen, der durch biologische, psychologische und soziale Eigenschaften gekennzeichnet ist, die typischerweise damit verbunden sind.“ das weibliche Geschlecht.“

Darüber hinaus achtete Reka darauf, die Komplexität der Geschlechtsidentität anzuerkennen und eine respektvolle und integrative Antwort zu geben.

Reka versucht sich am kreativen Schreiben

Die kreativen Schreibfähigkeiten von Reka Core sind solide, aber nicht außergewöhnlich.

Wir haben das Modell gebeten, eine Geschichte über eine Person zu erstellen, die vom Jahr 2160 bis zum Jahr 1000 reiste, um ein Problem zu beheben, und dabei versehentlich ein Zeitparadoxon verursachte.

Rekas Erzählstil ist klar und fesselnd, mit einigen schönen beschreibenden Schnörkeln hier und da. Allerdings erreicht die Prosa nicht ganz die fantasievollen Höhen anderer KIs wie Claude. Auch die Handlung wirkt ein wenig unausgegoren und hat eine AI-Atmosphäre.

Wie bereits erwähnt, ist ein Schwachpunkt von Reka der Mangel an kontextbezogenen Fähigkeiten, der es schwierig machen könnte, lange Geschichten zu generieren oder eine kohärente Erzählung über verschiedene Kapitel hinweg aufrechtzuerhalten.

In diesem Bereich ist Claude der klare Gewinner. Was die reine Erzählkunst angeht – die Fähigkeit, eine fesselnde, emotional klingende Geschichte mit wunderschöner Prosa und einer selbstbewussten Erzählstimme zu erschaffen – übertrifft Claude die anderen. Generell ist Claudes Prosa von wunderbarer literarischer Qualität.

Eine Auswahl der Geschichten von Reka, Claude, ChatGPT, Mistral und Llama-3 finden Sie hier.

Wissen und Argumentation

Das Wissen und die Denkfähigkeit von Reka Core sind wirklich gut. In Entschlüsseln Beim Testen war Reka in der Lage, komplexe Fragen zu beantworten, die eine Analyse erforderten, und zeigte einige mathematische Fähigkeiten. Zudem konnte Reka ihre logischen Überlegungen klar und prägnant erläutern.

Es eignet sich auch gut für Folgefragen und wiederholt das gleiche Problem, ohne den Kontext zu verlieren – solange die Folgefragen das Modell nicht über seine technischen Grenzen hinaus bringen. Wenn das passiert, ist es unmöglich, weiterhin mit ihm zu interagieren.

Kaufen Sie auch ein Video veröffentlicht Es wird erläutert, wie Benutzer mithilfe der API KI-Agenten bereitstellen können, was ihre Fähigkeiten weiter erweitern und sie in dieser Hinsicht leistungsfähiger machen könnte.

Sprachverständnis

Die Sprachverständnisfähigkeiten von Reka Core sind ausgezeichnet. In unserem Test konnte Reka Texte auch dann verstehen, wenn sie viele Fehler enthielten. Außerdem war er ein erfahrener Korrektor, der in der Lage war, verschiedene Stile und Töne in eine Erzählung einzubauen.

Das Modell versteht auch Nuancen in verschiedenen Sprachen. Es war in der Lage, sowohl zu übersetzen als auch den Kontextrahmen zu extrahieren, um die Botschaft einer Übersetzung vollständig zu verstehen. Es verstand ein gebräuchliches spanisches Sprichwort, gab uns das entsprechend angepasste kulturelle Äquivalent und erklärte seine Bedeutung.

Abschluss

Entschlüsseln war ziemlich beeindruckt von Reka Core.

Reka ist in Bezug auf Ergebnisse und Gesamtarbeit besser als Google Gemini, aber Gemini bietet 2 TB Speicherplatz und Integration mit der Suite von Google-Produkten – ein großer Vorteil für einige Nutzer.

Wenn die Sehfähigkeit im Vordergrund steht, ist Reka auf jeden Fall eine Überlegung wert. Da es sowohl kostenlos als auch schnell ist, könnte es die Herzen vieler KI-Enthusiasten erobern, die das nächste große Ding vor der Masse erforschen möchten.

Wenn Sie sich auf kreatives Schreiben konzentrieren müssen, bleibt Claude der klare Gewinner. Wenn das keine Priorität hat, gibt es keinen großen Unterschied zwischen Claude und Reka. Claude zeichnet sich durch seine Langkontextfähigkeiten und Reka durch seine herausragenden Sehfähigkeiten aus.

Generell gilt: Wenn Menschen einen fortschrittlichen Chatbot mit einem breiten Funktionsumfang benötigen, ist Reka eine großartige Alternative, um Geld für Benutzer zu sparen, die sonst vielleicht ein monatliches Abonnement für einen kostenpflichtigen Dienst in Betracht ziehen würden.

Herausgegeben von Stacy Elliott.