Video Der völlig harmlose Roboterhersteller Boston Dynamics hat einem seiner „Spot“-Robo-Hunde mithilfe von chatgpt das Sprechen beigebracht.

Wie letzte Woche in a erklärt BlogeintragDie Leute von Boston Dynamics (BD) beobachteten mit großem Interesse das Aufkommen von Foundation Models (FMs) und deren Einsatz als Grundlage für Chatbots wie ChatGPT. Das Unternehmen interessierte sich daher für die Entwicklung einer Spot-Demo, bei der FMs zur Entscheidungsfindung in Echtzeit genutzt werden.

„Große Sprachmodelle (LLMs) wie ChatGPT sind im Grunde sehr große, sehr leistungsfähige Autovervollständigungsalgorithmen; sie nehmen einen Textstrom auf und sagen das nächste Textbit voraus“, heißt es in dem Beitrag. „Wir wurden von der offensichtlichen Fähigkeit von LLMs inspiriert, Rollenspiele zu spielen, Kultur und Nuancen zu reproduzieren, Pläne zu formulieren und Kohärenz über die Zeit aufrechtzuerhalten, sowie von kürzlich veröffentlichten VQA-Modellen (Visual Question Answering), mit denen Bilder beschriftet und einfache Fragen dazu beantwortet werden können.“ .“

Als guter Testfall wurde ein Robotertourguide ausgewählt. „Der Roboter könnte herumlaufen, Objekte in der Umgebung betrachten, ein VQA- oder Untertitelungsmodell verwenden, um sie zu beschreiben, und diese Beschreibungen dann mithilfe eines LLM ausarbeiten“, heißt es in dem Beitrag des Droidenherstellers. „Darüber hinaus könnte der LLM Fragen des Tourpublikums beantworten und planen, welche Aktionen der Roboter als Nächstes ausführen soll. Auf diese Weise kann der LLM als Improvisationsschauspieler betrachtet werden – wir liefern ein grobes Skript und der LLM füllt die aus.“ Leerzeichen im laufenden Betrieb.

Daher wurde ein Spot-Bot mit einem Lautsprecher und einem Mikrofon ausgestattet und an ChatGPT und OpenAI angeschlossen Flüstern Spracherkennungs-API. Spot verfügt über ein Software-Entwicklungskit, das so etwas möglich macht. Der Beitrag enthält Codefragmente, die zeigen, wie der Bot erstellt wurde.

Die Entwickler von Boston Dynamics „wollten, dass unser Roboter-Reiseführer so aussieht, als ob er sich mit dem Publikum unterhält“, also analysierten sie seine Sprache und übersetzten sie in Bewegungen von Spots Greifwerkzeug – „so ähnlich wie der Mund einer Puppe“.

„Diese Illusion wurde durch das Hinzufügen alberner Kostüme zum Greifer und den Kulleraugen noch verstärkt.“

Sie können die Wirksamkeit dieser Illusion beurteilen, indem Sie sich das Bild unten ansehen.

Sprechender Robodog-Reiseführer von Boston Dynamics – Zum Vergrößern anklicken

Und hier, lieber Leser, ist ein Video des Robo-Hundes, der mit Menschen chattet – und versucht, mit ihnen zu interagieren.

Youtube-Video

Obwohl das Gesagte beeindruckend ist, stieß das BD-Team bei der Arbeit auf einige Seltsamkeiten.

„Zum Beispiel haben wir den Roboter gefragt: ‚Wer ist Marc Raibert?‘“ – der Gründer, ehemalige CEO und jetzt Vorsitzende von BD. „Es antwortete: ‚Ich weiß es nicht. Gehen wir zum IT-Helpdesk und fragen!‘. Und dann tat es das.“

„Wir haben das LLM nicht aufgefordert, um Hilfe zu bitten. Es wurde eine Verbindung zwischen dem Standort ‚IT-Helpdesk‘ und der Aktion, unabhängig um Hilfe zu bitten, hergestellt“, erklärt der BD-Beitrag.

BD-Entwickler haben Spot außerdem gebeten, seine Eltern zu identifizieren.

„Es ging zu den ‚alten Spots‘, wo Spot V1 und Big Dog in unserem Büro ausgestellt sind, und sagte uns, dass dies seine ‚Ältesten‘ seien“, verrät der Beitrag, der überhaupt nicht gruselig ist.

„Wir waren auch überrascht, wie gut es dem LLM gelang, ‚im Charakter‘ zu bleiben, obwohl wir ihm immer absurdere ‚Persönlichkeiten‘ gaben“, heißt es in dem Beitrag weiter. „Wir haben sofort gelernt, dass ‚bissige‘ oder ‚sarkastische‘ Persönlichkeiten wirklich gut funktionieren; und wir haben den Roboter sogar dazu gebracht, eine ‚Bigfoot-Jagd‘ durch das Büro zu machen und zufällige Passanten zu fragen, ob sie irgendwelche Kryptiden gesehen haben.“

Der Bot wies auch auf einige der bekannten Mängel von ChatGPT hin. Auf Nachfragen nach Informationen über den Logistik-Bot „Stretch“ von BD wurde geantwortet, dass sein Zweck Yoga sei. Eine Zeitspanne von sechs Sekunden oder länger zwischen Frage und Antwort sorgte für eine gestelzte Konversation. „Es besteht auch die Gefahr, dass OpenAI überlastet wird oder die Internetverbindung ausfällt“, heißt es in dem Beitrag.

Die BD-Leute sind dennoch begeistert von den Ergebnissen.

„Die Möglichkeit, einem Roboter eine Aufgabe zuzuweisen, indem man einfach mit ihm spricht, würde dazu beitragen, die Lernkurve für die Verwendung dieser Systeme zu verkürzen“, heißt es in dem Beitrag und fügt hinzu: „Eine Welt, in der Roboter im Allgemeinen verstehen können, was Sie sagen, und dies in nützliche Maßnahmen umsetzen können.“ ist wohl nicht so weit weg.

„Diese Art von Fähigkeit würde es Robotern ermöglichen, bessere Leistungen bei der Arbeit mit und in der Nähe von Menschen zu erbringen – sei es als Werkzeug, als Führer, als Begleiter oder als Entertainer.“ ®