Im Juni 2023 führten wir Interviews mit Bauern, die im Bundesstaat Kano im Norden Nigerias Reis unter bewässerten Bedingungen anbauen. Siebzehn Landwirtinnen und 90 Landwirte wurden nach dem Zufallsprinzip aus 4032 Landwirten ausgewählt, die im vergangenen Jahr an einer landwirtschaftlichen Umfrage teilgenommen hatten (unveröffentlichte Daten), und wurden nach Fragen gefragt, die sie den Umweltberatern zur Verbesserung ihrer Reisproduktion stellen möchten. Jeder Landwirt stellte bis zu fünf Fragen. Nachdem alle Fragen zusammengestellt wurden, wurden ähnliche Fragen zusammengeführt. Wir haben auch einige Fragen entfernt, die für den bewässerten Reisanbau nicht relevant waren (z. B. dürretolerante Sorten). Wir haben die Fragen geändert, um sicherzustellen, dass wir konsistent Informationen zum Standort und zum Reisproduktionssystem enthalten und die Identität der Landwirte schützen. Tabelle 1 zeigt die Liste der 32 Fragen, die in dieser Studie verwendet wurden und ein breites Spektrum agronomischer Eingriffe abdeckten, darunter Saatgut, Sorte, Landvorbereitung, Anbaumethode und Management von Nährstoffen, Wasser, Unkraut sowie Insekten und Krankheiten.

Am 10. August 2023 wurde der vollständige Text der Fragen (Tabelle 1) in eine neue Chatbot-Sitzung gestellt⁸ Es gab keine vorherigen Fragen, die die Ergebnisse verfälschen könnten, und die Chatbot-Antwort wurde in einer Word-Datei gespeichert.

Sechs EAs wurden von einem landwirtschaftlichen Beratungsbüro in Kano aufgrund ihres Fachwissens und ihrer Kenntnisse über Reisanbaupraktiken nominiert. Um die Identität der EAs zu schützen, geben wir in diesem Dokument keine Namen der Organisationen an. Drei der Agenten waren Frauen. Keiner von ihnen hatte zuvor einen Chatbot für seine Beratungsdienste genutzt. Sie wurden in zwei Gruppen eingeteilt. Eine Gruppe (drei Agenten) nutzte Erweiterungsmaterialien zur Beantwortung von Fragen, die andere Gruppe hingegen nicht. Unter der Aufsicht von Zählern schrieben sie in ihren Büros Antworten auf Fragen auf Papier. Gezählt wurde die Anzahl der Wörter in den Antworten von EAs mit/ohne Erweiterungsmaterialien und dem Chatbot. Nachdem die EAs ihre Antworten fertiggestellt hatten, überprüften sie die Chatbot-Antworten und wurden dann nach der möglichen Verwendung gefragt.

Nachdem alle Antworten der sechs EAs und des Chatbots zusammengestellt wurden, wurde für jede Frage die Reihenfolge der sieben Antworten randomisiert. Daher kann die Reihenfolge von Frage zu Frage unterschiedlich sein. Anschließend haben wir jede Frage mit 1 bis 7 versehen, um die Bewerter hinsichtlich der Identität der Antwortenden blind zu machen. Wir haben Informationen eliminiert, die von Bewertern zur Identifizierung der Identität der Befragten verwendet werden könnten (bei einem Chatbot haben wir Aussagen wie „Ich bin eine künstliche Intelligenz“ eliminiert). Alle Antworten wurden von vier lokalen Reisexperten ausgewertet – zwei von Forschungsorganisationen und andere von öffentlichen Beratungsagenturen, die über gute Kenntnisse der lokalen Reisproduktion verfügen. Die Bewerter wurden gebeten, die Qualität der Antworten im Hinblick auf die lokale Relevanz anhand von Likert-Skalen zu beurteilen (1, sehr schlecht; 2, schlecht; 3, akzeptabel; 4, gut; und 5, sehr gut).

Die Bewertungen wurden für jede Frage von den Bewertern gemittelt. Diese Methode wird verwendet, wenn das untersuchte Ergebnis keinen fundierten Wahrheitsgehalt aufweist und die bewerteten Ergebnisse selbst von Natur aus subjektiv sind. Somit spiegelt die mittlere Punktzahl den Konsens der Bewerter wider, und Meinungsverschiedenheiten (oder inhärente Unklarheiten, Unsicherheiten) zwischen den Bewertern spiegeln sich in der Bewertungsvarianz wider. Daher wurde eine Varianzanalyse (ANOVA) durchgeführt, um den Unterschied in der Qualitätsbewertung von EAs mit und und ohne Erweiterungsmaterial-Antworten zu chatgpt-Antworten zu bewerten. Der Chi-Quadrat-Test wurde angewendet, um signifikante Unterschiede zwischen den Bewertungen der Bewerter bei den Antworten von Extension Agents (EAs) mit und ohne Extension-Materialien und Chatbot zu identifizieren. Für den Chi-Quadrat-Test besagt die Nullhypothese, dass es keinen signifikanten Unterschied zwischen den Bewertungen der Prüfer gibt, wohingegen die Alternativhypothese besagt, dass diese Bewertungen unterschiedlich sind. Wir haben einen T-Test verwendet, um den Unterschied in der Anzahl der Wörter in EAs und Chatbot-Antworten zu vergleichen, da die Anzahl der Wörter in EAs mit und ohne Inhalt ähnlich ist. Shapiro- und Bartlett-Tests wurden vor ANOVA und T-Tests verwendet, um sicherzustellen, dass die Daten eine Normalverteilung aufwiesen und hinsichtlich der Varianz homogen waren. Die mittlere Trennung erfolgte mithilfe des Tukey-HDS-Ansatzes. Es wurde eine Pearson-Korrelation zwischen den Bewertungen der Antworten von EAs und dem Chatbot durchgeführt. Alle statistischen Analysen wurden in der Statistiksoftware R, Version 4.3.1, durchgeführt¹⁴.

Die Verteilung der Expertenbewertung der Antworten ist in Abb. 2 dargestellt. Wir berichten über den Prozentsatz der Fragen, bei denen die Chatbot-Antwort bevorzugt wurde, und identifizierten die Fragen, bei denen die Chatbot-Antworten niedrigere Werte aufwiesen als die der EAs.

Ethische Genehmigung

Die Autoren bestätigen, dass alle Methoden in Übereinstimmung mit den relevanten Richtlinien und Vorschriften durchgeführt wurden. Die Autoren bestätigen, dass alle Versuchsprotokolle vom Wissenschaftlichen Ausschuss des Africa Rice Center genehmigt wurden. Die Autoren bestätigen, dass von allen an dieser Studie beteiligten Probanden eine Einverständniserklärung eingeholt wurde.