Wenn Sie sich diese Rangliste unten ansehen, die die größten Modelle zeigt, sehen Sie die allerbesten, aber fällt Ihnen etwas Seltsames auf?

Es gibt mehrere Versionen von GPT-4. Ja, sie entsprechen unterschiedlichen Versionen zu einem bestimmten Zeitpunkt. Beispielsweise handelt es sich bei GPT4 03–14 um die Version vom März 2023, 06 um die Version vom Juni 2023, und so erkennen wir schon als Erstes, dass sie nicht chronologisch geordnet sind.

Gibt es noch etwas?

Ja, auf Claudes. Claude 2 liegt unter Claude 1 und CL 2.1 liegt unter den beiden anderen. Dies bedeutet, dass neuere proprietäre Modelle im Allgemeinen von geringerer Qualität sind als ältere.

Ist Ihnen klar, was das bedeutet?

Es gibt Teams mit Millionen von Dollar an Finanzmitteln und Hunderten von Leuten, die an Modellen arbeiten. Sie verbringen Monate und Monate damit, neue Versionen zu erstellen, die schlechter bewertet sind als die vor anderthalb Jahren veröffentlichten Inhalte.

Außerdem zu lesen:

Was könnte das erklären?

Dabei geht es nicht so sehr darum, dumm zu werden, also Aufgaben nicht mehr lösen zu können, sondern um eine generelle Frage des Verhaltens. Wo wir ihn vielleicht vor 6 Monaten, vor einem Jahr, bitten könnten, ein komplettes Drehbuch zu schreiben, zum Beispiel mit Entwicklung, weil es ziemlich aussagekräftig ist. Ich erinnere mich an die Zeit, als ich Swift lernte und ich GPT bat, wirklich komplexe Aufgaben auf der GPU des Mac zu erledigen, und es produzierte am laufenden Band Skripte in Swift und generierte Shader.

Es scheint, dass wir von da an jetzt weitergekommen sind, wo wir, wenn wir uns einige Beispiele ansehen, sehen, dass es ständig von uns verlangt, die Arbeit zu erledigen. Mir ist aufgefallen, dass es etwas faul ist. Sie bitten es, einen Code zu erstellen, bevor es dies für Sie erledigt hat. Jetzt wird erklärt, wie Sie dorthin gelangen können …