Wenn OpenAI-Mitbegründer und CEO Sam Altman in diesen Tagen spricht, ist es sinnvoll, zuzuhören. Sein neustes Unternehmen ist seit der Veröffentlichung von GPT-4 und ChatGPT, einer der ausgeklügeltsten, auf großen Sprachmodellen basierenden Schnittstellen, die bisher entwickelt wurde, in aller Munde. Aber Altman geht bewusst und bescheiden vor und glaubt nicht unbedingt, dass bei großen Sprachmodellen (LLM) größer immer besser ist.

Altman, der über Zoom am interviewt wurde Fantasie in Aktion Veranstaltung am MIT, glaubt, dass wir uns der Größe zuliebe den Grenzen der LLM-Größe nähern. „Ich denke, wir sind am Ende der Ära angelangt, in der es diese riesigen Modelle sein werden, und wir werden sie auf andere Weise besser machen“, sagte Altman.

Er sieht die Größe als falsches Maß für die Modellqualität und vergleicht sie mit den Chip-Geschwindigkeitsrennen, die wir früher gesehen haben. „Ich denke, es wurde viel zu viel Wert auf die Parameteranzahl gelegt, vielleicht wird die Parameteranzahl mit Sicherheit steigen. Aber das erinnert mich sehr an das Gigahertz-Rennen bei den Chips in den 1990er und 2000er Jahren, als jeder versuchte, auf eine große Zahl hinzuweisen“, sagte Altman.

Wie er betont, haben wir heute viel leistungsfähigere Chips auf unseren iPhones, aber wir haben größtenteils keine Ahnung, wie schnell sie sind, nur dass sie ihre Arbeit gut machen. „Ich denke, es ist wichtig, dass wir uns darauf konzentrieren, die Fähigkeiten schnell zu steigern. Und wenn es einen Grund dafür gibt, dass die Parameteranzahl im Laufe der Zeit abnehmen sollte oder wir mehrere Modelle haben sollten, die zusammenarbeiten, von denen jedes kleiner ist, würden wir das tun. Was wir der Welt liefern wollen, sind die leistungsfähigsten, nützlichsten und sichersten Modelle. Wir sind nicht hier, um uns über die Parameteranzahl lustig zu machen“, sagte er.

Altman war unter anderem deshalb ein so erfolgreicher Technologe, weil er große Wetten eingeht und sich dann bewusst bewegt und gründlich über seine Unternehmen und die Produkte nachdenkt, die sie produzieren – und OpenAI ist nicht anders.

„Wir haben so lange daran gearbeitet, aber es wächst allmählich die Zuversicht, dass es wirklich funktionieren wird. Wir waren [building] das Unternehmen für sieben Jahre. Diese Dinge dauern lange, lange. Ich würde im Großen und Ganzen sagen, warum es funktioniert hat, wenn andere es nicht getan haben: Es liegt einfach daran, dass wir lange an jedem Detail gefeilt haben. Und die meisten Menschen sind dazu nicht bereit“, sagte er.

Als er nach dem Schreiben gefragt wurde, in dem OpenAI aufgefordert wurde, sechs Monate zu pausieren, verteidigte er den Ansatz seines Unternehmens, stimmte jedoch einigen Teilen des Schreibens zu.

„Es gibt Teile des Schubs [of the letter] dem ich wirklich zustimme. Wir verbrachten mehr als sechs Monate, nachdem wir das Training für GPT-4 abgeschlossen hatten, bevor wir es veröffentlichten. Es ist also wichtig, sich die Zeit zu nehmen, das Sicherheitsmodell wirklich zu studieren, externe Audits zu erhalten, externe Red-Teamer, um wirklich zu versuchen, zu verstehen, was vor sich geht, und so viel wie möglich zu entschärfen, das ist wichtig“, sagte er.

Aber er glaubt, dass der Brief in beträchtlicher Weise das Ziel verfehlt hat.

„Ich stimmte auch zu, dass die Sicherheitsbarriere höher werden muss, wenn die Fähigkeiten immer ernster werden. Aber leider denke ich, dass dem Brief die meisten technischen Nuancen fehlen, wo wir pausieren müssen – eine frühere Version des Briefes behauptete, wir würden GPT-5 trainieren. Das sind wir nicht und werden es für einige Zeit nicht sein, also war es in diesem Sinne irgendwie albern – aber wir machen andere Dinge zusätzlich zu GPT-4, von denen ich denke, dass sie alle möglichen Sicherheitsprobleme haben, die angegangen werden müssen und wurden völlig aus dem Brief gestrichen. Daher denke ich, dass es wirklich wichtig ist, sich mit Vorsicht zu bewegen, und eine zunehmende Strenge in Sicherheitsfragen. Ich glaube nicht [suggestions in the] Brief ist der ultimative Weg, es anzusprechen “, sagte er.

Altman sagt, dass er offen über die Sicherheitsprobleme und die Einschränkungen des aktuellen Modells spricht, weil er glaubt, dass es das Richtige ist. Er räumt ein, dass er und andere Unternehmensvertreter manchmal „dummes Zeug“ sagen, was sich als falsch herausstellt, aber er ist bereit, dieses Risiko einzugehen, weil es wichtig ist, einen Dialog über diese Technologie zu führen.

„Ein großer Teil unseres Ziels bei OpenAI ist es, die Welt dazu zu bringen, sich mit uns zu beschäftigen und darüber nachzudenken [this technology], und schrittweise aktualisieren und neue Institutionen aufbauen oder unsere bestehenden Institutionen anpassen, um herauszufinden, was die Zukunft ist, die wir alle wollen. Das ist also der Grund, warum wir hier sind.“