„Es erfasst alle Arten von Daten, die für Roboter wichtig sind – die ihnen helfen können, die physische Welt zu verstehen und mit ihr zu interagieren“, sagte Dr. Chen.

Die Technologie kann Muster in einer Reihe von Bildern, Texten und sensorischen Daten erkennen, wodurch die Roboter mit unerwarteten Situationen in der physischen Welt umgehen können. Es wird zum Beispiel wissen, wie man eine Banane aufhebt, auch wenn es in der physischen Welt noch nie eine gesehen hat.

Es kann auch auf englische Sprache reagieren, ähnlich wie ein Chatbot. Wenn Sie ihm zum Beispiel sagen: „Eine Banane aufheben“, weiß es, was das bedeutet, oder wenn Sie ihm sagen: „Eine gelbe Frucht aufheben“, wird es das auch verstehen.

Obwohl das System als RFM oder Robotics Foundational Model bezeichnet wird, befindet es sich zwar noch in der Perfektionierung und wird Fehler machen, es wird jedoch erwartet, dass es besser wird, je mehr Unternehmen es auf immer größere und vielfältigere Datensammlungen trainieren. Durch die Kombination von Tausenden von Beispielen aus der physischen Welt mit Sprache durch Daten werden die Roboter in der Lage sein, flinker zu werden und mit unerwarteten Situationen umzugehen.

„Was in den digitalen Daten enthalten ist, kann in die reale Welt übertragen werden“, sagt Dr. Chen sagte.