Evaluation des Sprachmodells GPT-3 für den Einsatz an der ZBW – Leibniz Informationszentrum Wirtschaft
- Die Verarbeitung natürlicher Sprache durch Maschinen ist fester Bestandteil des Alltags. Die Verarbeitung erfolgt durch technische Sprachmodelle, die bereits viele Aufgaben erfolgreich lösen. Durch die stetige Weiterentwicklung entstehen mächtigere Modelle mit neuen Fähigkeiten. Eines der neuesten ist GPT-3. Das Ziel dieser Masterarbeit ist es, das Sprachmodell GPT-3 und dessen praktischen Einsatz zu untersuchen. Zur Untersuchung des Modells werden die Fragen gestellt, was GPT-3 von anderen Modellen unterscheidet, wie es funktioniert und in welchen Bereichen es eingesetzt werden kann. Weiterhin wird die Frage untersucht, ob das Modell für den geplanten Chatbot der ZBW – Leibniz Informationszentrum Wirtschaft genutzt werden kann. Zudem wird untersucht, welche Voraussetzungen für einen Einsatz des Modells in einem Chatbot nötig sind. Für die ersten drei Forschungsfragen wurde eine Literaturrecherche angewendet. Damit wurden Hintergründe zum Modell zusammengetragen, sowie Berichte aus der Praxis berücksichtigt. Für den Einsatz bei einem Chatbot wurde ein Prototyp erstellt, der von den Testpersonen genutzt und bewertet wurde. Die Auswertung aktueller Literatur zu GPT-3 zeigt, dass sich das Modell durch seine neue Funktionsweise, die Größe der Parameter und Testdaten von anderen abhebt. Dadurch wurden neue Fähigkeiten möglich. GPT-3 kann bei vielen Einsatzgebieten, die auf natürlicher Sprache beruhen, eingesetzt werden. Dies umfasst klassische Natural Language Processing-Aufgaben, sowie neue Bereiche wie etwa die Programmierung. Im praktischen Test zeigte sich, dass es eine hohe Präzision erfordert, das Modell auf neue Themen anzulernen. Die Quote der richtigen Antwort des Chatbots war zu gering, um den Einsatz uneingeschränkt empfehlen zu können. Es bedarf weiterer Untersuchungen, um das Modell für den Einsatz im Chatbot der ZBW zu optimieren.