Japan entwickelt seine eigenen Versionen von ChatGPT – dem Chatbot für künstliche Intelligenz (KI) der US-Firma OpenAI, der nach seiner Vorstellung vor knapp einem Jahr für weltweite Sensation sorgte.

Die japanische Regierung und große Technologieunternehmen wie NEC, Fujitsu und SoftBank investieren Hunderte Millionen Dollar in die Entwicklung von KI-Systemen, die auf derselben zugrunde liegenden Technologie basieren, die als große Sprachmodelle (LLMs) bekannt sind, aber die japanische Sprache verwenden. statt Übersetzungen der englischen Version.

„Aktuelle öffentliche LLMs wie GPT zeichnen sich durch hervorragende Ergebnisse in Englisch aus, sind aber aufgrund von Unterschieden im Alphabetsystem, begrenzten Daten und anderen Faktoren oft unzureichend in Japanisch“, sagt Keisuke Sakaguchi, ein Forscher an der Tohoku-Universität in Japan, der sich auf natürliche Sprache spezialisiert hat wird bearbeitet.

Englische Voreingenommenheit

LLMs nutzen in der Regel riesige Datenmengen aus öffentlich zugänglichen Quellen, um die Muster natürlicher Sprache und Prosa zu erlernen. Sie werden darauf trainiert, das nächste Wort auf der Grundlage vorheriger Wörter in einem Text vorherzusagen. Der überwiegende Teil des Textes, mit dem das Vorgängermodell von ChatGPT, GPT-3, trainiert wurde, war auf Englisch.

Die unheimliche Fähigkeit von ChatGPT, menschenähnliche Gespräche zu führen, hat Forscher sowohl begeistert als auch beunruhigt. Manche sehen darin ein potenziell arbeitssparendes Instrument; andere befürchten, dass es zur Herstellung wissenschaftlicher Arbeiten oder Daten verwendet werden könnte.

In Japan besteht die Sorge, dass KI-Systeme, die auf Datensätzen in anderen Sprachen trainiert wurden, die Feinheiten der japanischen Sprache und Kultur nicht erfassen können. Der Satzaufbau im Japanischen ist völlig anders als im Englischen. ChatGPT muss daher eine japanische Anfrage ins Englische übersetzen, die Antwort finden und die Antwort dann wieder ins Japanische übersetzen.

Während Englisch nur 26 Buchstaben hat, besteht geschriebenes Japanisch aus zwei Sätzen mit 48 Grundzeichen sowie 2.136 regelmäßig verwendeten chinesischen Schriftzeichen, den Kanji. Die meisten Kanji haben zwei oder mehr Aussprachen, und es gibt weitere etwa 50.000 selten verwendete Kanji. Angesichts dieser Komplexität ist es nicht verwunderlich, dass ChatGPT mit der Sprache ins Stolpern geraten kann.

Auf Japanisch erzeugt ChatGPT „manchmal extrem seltene Zeichen, die die meisten Menschen noch nie zuvor gesehen haben, und es entstehen seltsame unbekannte Wörter“, sagt Sakaguchi.

Kulturelle Normen

Damit ein LLM nützlich und sogar wirtschaftlich rentabel ist, muss er sowohl kulturelle Praktiken als auch Sprache genau widerspiegeln. Wenn ChatGPT beispielsweise dazu aufgefordert wird, eine Bewerbungs-E-Mail auf Japanisch zu verfassen, kann es sein, dass Standardausdrücke der Höflichkeit weggelassen werden und es wie eine offensichtliche Übersetzung aus dem Englischen aussieht.

Um zu beurteilen, wie sensibel LLMs auf die japanische Kultur reagieren, hat eine Forschergruppe ins Leben gerufen Rakuda, ein Ranking, wie gut LLMs offene Fragen zu japanischen Themen beantworten können. Rakuda-Mitbegründer Sam Passaglia und seine Kollegen baten ChatGPT, die Fließfähigkeit und kulturelle Angemessenheit von Antworten auf Standardaufforderungen zu vergleichen. Ihre Verwendung des Tools zur Einstufung der Ergebnisse basierte auf einem im Juni veröffentlichten Vorabdruck, der zeigte, dass GPT-4 in 87 % der Fälle mit menschlichen Gutachtern übereinstimmt¹. Das beste Open-Source-LLM in Japan belegt bei Rakuda den vierten Platz, während GPT-4 an erster Stelle steht, was vielleicht nicht überraschend ist, wenn man bedenkt, dass es auch der Juror des Wettbewerbs ist.

„Natürlich werden japanische LLMs viel besser, aber sie liegen weit hinter GPT-4 zurück“, sagt Passaglia, ein Physiker an der Universität Tokio, der japanische Sprachmodelle studiert. Aber es gebe grundsätzlich keinen Grund, sagt er, dass ein japanischer LLM in Zukunft nicht GPT-4 erreichen oder übertreffen könnte. „Das ist nicht technisch unüberwindbar, sondern nur eine Frage der Ressourcen.“

Eine große Anstrengung zur Schaffung eines japanischen LLM besteht darin, den japanischen Supercomputer Fugaku, einen der schnellsten der Welt, zu nutzen und ihn hauptsächlich auf Eingaben in japanischer Sprache zu trainieren. Mit Unterstützung des Tokyo Institute of Technology, der Tohoku University, Fujitsu und der staatlich finanzierten RIKEN-Gruppe von Forschungszentren wird das daraus resultierende LLM voraussichtlich nächstes Jahr veröffentlicht. Im Gegensatz zu GPT-4 und anderen proprietären Modellen wird es zusammen mit anderen Open-Source-LLMs seinen Code allen Benutzern zur Verfügung stellen. Laut Sakaguchi, der an dem Projekt beteiligt ist, hofft das Team, ihm mindestens 30 Milliarden Parameter zu geben, das sind Werte, die seine Leistung beeinflussen und als Maßstab für seine Größe dienen können.

Dem Fugaku LLM könnte jedoch ein noch größerer Studiengang folgen. Das japanische Ministerium für Bildung, Kultur, Sport, Wissenschaft und Technologie finanziert die Schaffung eines japanischen KI-Programms, das auf wissenschaftliche Bedürfnisse abgestimmt ist und durch Lernen aus veröffentlichten Forschungsergebnissen wissenschaftliche Hypothesen generieren und so die Identifizierung von Forschungszielen beschleunigen soll. Das Modell könnte mit 100 Milliarden Parametern beginnen, was etwas mehr als halb so groß wäre wie GPT-3, und im Laufe der Zeit erweitert werden.

„Wir hoffen, den wissenschaftlichen Forschungszyklus drastisch zu beschleunigen und den Suchraum zu erweitern“, sagt Makoto Taiji, stellvertretender Direktor am RIKEN Center for Biosystems Dynamics Research, über das Projekt. Die Entwicklung des LLM könnte mindestens 30 Milliarden Yen (204 Millionen US-Dollar) kosten und wird voraussichtlich im Jahr 2031 öffentlich veröffentlicht.

Erweiterung der Möglichkeiten

Andere japanische Unternehmen kommerzialisieren bereits ihre eigenen LLM-Technologien oder planen dies. Der Supercomputerhersteller NEC begann im Mai mit der Nutzung seiner generativen KI auf Basis der japanischen Sprache und behauptet, dass dadurch der Zeitaufwand für die Erstellung interner Berichte um 50 % und des internen Software-Quellcodes um 80 % reduziert werde. Im Juli begann das Unternehmen, seinen Kunden anpassbare generative KI-Dienste anzubieten.

Masafumi Oyamada, leitender Forschungsleiter bei NEC Data Science Laboratories, sagt, dass es „in einer Vielzahl von Branchen wie Finanzen, Transport und Logistik, Vertrieb und Fertigung“ eingesetzt werden kann. Er fügt hinzu, dass Forscher damit unter anderem Code schreiben, beim Verfassen und Bearbeiten von Artikeln helfen und vorhandene veröffentlichte Artikel überprüfen könnten.

Das japanische Telekommunikationsunternehmen SoftBank investiert unterdessen rund 20 Milliarden Yen in generative KI, die auf japanischen Texten trainiert wird, und plant, im nächsten Jahr ein eigenes LLM einzuführen. Softbank, das 40 Millionen Kunden und eine Partnerschaft mit dem OpenAI-Investor Microsoft hat, will Unternehmen dabei helfen, ihre Geschäfte zu digitalisieren und die Produktivität zu steigern. SoftBank geht davon aus, dass sein LLM von Universitäten, Forschungseinrichtungen und anderen Organisationen genutzt wird.

Unterdessen hoffen japanische Forscher, dass ein präziser, effektiver und in Japan hergestellter KI-Chatbot dazu beitragen könnte, die Wissenschaft zu beschleunigen und die Kluft zwischen Japan und dem Rest der Welt zu schließen.

„Wenn eine japanische Version von ChatGPT präzise gemacht werden kann, wird sie voraussichtlich bessere Ergebnisse für Menschen bringen, die Japanisch lernen oder über Japan forschen möchten“, sagt Shotaro Kinoshita, Forscher für Medizintechnik an der Keio University School of Medicine in Tokio. „Dadurch kann es zu positiven Auswirkungen auf die internationale Gemeinschaftsforschung kommen.“