Wie kann uns die KI-basierte Vektorsuche helfen? – Explorative Entwicklungen im Rahmen von CrossAsia
- CrossAsia ist die zentrale Anlaufstelle für wissenschaftliche Informationen im Bereich der Asienwissenschaften. Unsere umfangreichen Sammlungen erstreckten sich über Publikationen aller Formate, Sprachen und Schriften aus aller Welt. Vor dem Hintergrund der Vielzahl heterogener Daten, die wir verwalten, streben wir nicht nur eine gemeinsame Suche in unserem VuFind-Discovery, der CrossAsia-Suche, an, sondern möchten auch eine sprach- und schriftübergreifende Suche für die Inhalte etablieren, die wir im Integrierten Textrepositorium (ITR - https://crossasia.org/service/crossasia-lab/crossasia-fulltext-search/) verwalten. Lange Zeit bestand die Herausforderung darin, Ähnlichkeiten zu berechnen oder maschinelle Übersetzungen aus allen zu berücksichtigenden Sprachen in eine einheitliche Normsprache umzuwandeln. In unserem aktuellen Ansatz setzen wir auf die Vektorsuche, die uns dabei hilft, die Daten auf andere Weise zugänglich zu machen. Die Vektorsuche ist ein Suchmechanismus, der aus einer Menge von Vektoren die nächstgelegenen Nachbarn eines bestimmten Vektors (Abfrage) identifiziert. Ein Vektor besteht dabei aus einer Sequenz numerischer Daten und stellt in modernen KI-Modellen eine gängige Darstellungsform von Einbettungen dar. Im Allgemeinen extrahieren KI-Modelle Einbettungen, beispielsweise Merkmale von Bildern, Wörter oder Bedeutungen, aus unterschiedlichen Eingabequellen wie Bildern, Videos, Audios und Texten, und speichern sie als Vektor ab. Die Vorstellung, dass sämtliche Materialien in verschiedenen Sprachen (in Vektorform) im gleichen Vektorraum abgebildet werden können, eröffnet die Möglichkeit eines sinnvollen, sprach- und schriftübergreifenden Zugangs zu diesen Materialien. In unserer Präsentation möchten wir unsere ersten Erfahrungen mit zwei verschiedenen mehrsprachigen Modellen vorstellen und erläutern, warum wir diesen Ansatz für unsere Zeitungssammlungen, die über die CrossAsia-Plattform zugänglich sind, anwenden wollen.
Author: | Brent Hou-Ieong Ho, Matthias Kaun |
---|---|
Parent Title (German): | TK 4: Forschungsnahe Dienste und Open Science/ Open/Linked Data und/mit KI (06.06.2024, 14:00 - 16:00, Saal B.2 / 1. OG (Streaming)) |
Document Type: | Conference publication (abstract) |
Language: | German |
Year of Completion: | 2024 |
Release Date: | 2024/05/10 |
Themes: | Erschließung, Linked Open Data, RDA |
Elektronische Publikationen, elektronisches Publizieren, Forschungsdaten, Open Access | |
German Bibliothekartage / BiblioCon: | 112. BiblioCon |
112. BiblioCon / Themenkreise / TK 4: Forschungsnahe Dienste und Open Science | |
Licence (German): | Deutsches Urheberrecht |