Bei all dem Hype um KI-Modelle stellt sich oft die Frage, wie „intelligent“ sie wirklich sind. Das gebräuchlichste Maß für die Intelligenz des Menschen ist der Intelligenzquotient (IQ), der die intellektuelle Leistung einer Person im Vergleich zu einer vorgegebenen Vergleichsgruppe bestimmt. Der durchschnittliche IQ des Menschen liegt normalerweise bei 100. Blogger Maxim Lott hat jetzt eine durchgeführt Intelligenztest auf aktuellen KI-Modellen. Claude-3 von Anthropic schlägt nachweislich seine Konkurrenten, darunter chatgpt-4 von OpenAI, und ist außerdem die erste KI, die den üblichen menschlichen IQ von 100 übertrifft.

Claude-3 erreicht einen durchschnittlichen menschlichen IQ

Maxim Lott konzentrierte sich in seinem Test eher darauf, wie KI-Modelle denken, als darauf, wie sie Bilder sehen und interpretieren. Im letzteren Fall weisen alle Modelle noch Schwächen auf. Stattdessen erstellte Lott eine verbale Übersetzung des norwegischen Mensa-IQ-Tests im Matrixstil mit 35 Fragen. Ziel war es, jedes Problem so detailliert zu beschreiben, dass selbst ein Blinder die Frage theoretisch genau formulieren könnte.

Als Lott ChatGPT-4 die Matrizen in Worten beschrieb, ergab sich ein bewertbarer IQ. Im Durchschnitt beantwortete das Modell von OpenAI beim norwegischen Mensa-Test durchschnittlich 13 von 35 Fragen richtig, was einem geschätzten IQ von 85 entspricht. Doch sein Rivale Claude-3, der erst vor wenigen Tagen in der EU erhältlich war, schnitt deutlich besser ab . Claude-3 hat einen Gesamt-IQ von 101 erreicht und liegt damit an erster Stelle unter den gängigen Modellen.

Mistral „Le Chat“: Der neueste ChatGPT-Rivale kämpft mit bekannten Schwächen

KI-Modelle verbessern sich blitzschnell

Anthropic hat mit jeder Veröffentlichung große Fortschritte bei seinen Claude-Modellen gemacht. Claude-1, das erst im März 2023 veröffentlicht wurde, erreichte im Test einen IQ von 64 und landete damit auf Platz 9 der Rangliste. Claude-2, das letzten Juli veröffentlicht wurde, hat einen IQ von 82 und liegt damit auf dem dritten Platz, direkt hinter ChatGPT-4. Auf dem vierten Platz liegt Bing Copilot von Microsoft mit einem IQ von 79, auf dem fünften Platz Gemini von google mit einem IQ von 77,5. Interessanterweise schnitt Gemini Advanced mit einem IQ von 77 geringfügig schlechter ab als die Basisversion. GPT-3.5, die Vorgängerversion der OpenAI AI, liegt mit einem IQ von 64 auf Augenhöhe mit Claude-1.

ChatGPT-4 konnte in jedem Test durchschnittlich 13 von 35 Fragen richtig beantworten, im Vergleich zu zwölf bei Claude-1. Bing Copilot hat elf richtig beantwortete Fragen, Gemini hat 10,5. Das Ranking zeigt vor allem die massiven Fortschritte, die die KI-Modelle einzelner Anbieter pro Version machen. Insbesondere Anthropic und OpenAI verbessern ihre Modelle mit jeder neuen Version massiv.

Claude könnte in Zukunft hochbegabt werden

Aufgrund der Entwicklung geht Maxim Lott davon aus, dass das nächste Claude-Modell von Anthropic, das dem Release-Muster zufolge in 12 bis 16 Monaten erwartet wird, einen IQ von 120 erreichen wird. Die Möglichkeit besteht bei der Folgeversion, die in drei bis sechs Jahren erscheinen könnte B. einen IQ von 140. Als hochbegabt gilt man üblicherweise, wenn er einen IQ von 130 hat. Allerdings könnte ChatGPT mit der nächsten Version einen IQ von rund 106 erreichen.

Google Gemini vs. ChatGPT Plus vs. Microsoft Copilot