Vektor Suche versus Keyword Search ist noch lange nicht „alt“ gegen „neu“

Die Vektor-Suche lebte lange Zeit im Schatten, aber mit dem Aufkommen von maschinellem Lernen und Einbettungen in Large Language Modells wurde sie populär - indem sie die Suche nach semantischer Bedeutung anstelle von Schlüsselwörtern ermöglichte. Aber ist die semantische Suche (Vektor-Index) tatsächlich ein Ersatz/Nachfolger für die ältere Schlüsselwortsuche (Invertierter Index), wie einige behaupten, oder ist sie eher ergänzend?

In der Welt der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) ist die Informationsbeschaffung ein zentraler Aspekt, der den Wert und die Effektivität von Modellen bestimmt. Große generative Sprachmodelle (LLMs) sind darauf angewiesen, Informationen abzurufen, um ihren größten Nutzen zu bieten.  In der ersten Hälfte des Jahres 2023 hat sich jedoch eine starke Voreingenommenheit entwickelt: Die Informationsbeschaffung für LLMs muss durch die Vektorsuche erreicht werden. Aber gehört die Key Word Suche damit zum alten Eisen und hat ihre Schuldigkeit getan?   

In der LLM-Community ist es allgemein bekannt, dass das gespeicherte Wissen großer LLMs unzuverlässig und schwer zu aktualisieren ist. Dennoch sind sie effektiv darin, über den Kontext zu urteilen, der zur Inferenzzeit bereitgestellt wird. Die Substitution einer einzigen Lösungsart (Vektordatenbanken) für eine Fähigkeit (Informationsbeschaffung) muss allerdings differenziert gesehen werden. Schließlich geht es darum, das richtige Werzeug für die richtige Aufgabe zu wählen und nicht allein einem Trend, ausgelöst von Venture-Capital-Unternehmen (VCs), Rechnung zu tragen. 

Vektorsuche: Ein Werkzeug, nicht die Lösung

Die Vektorsuche ist zweifellos eine hervorragende Lösung für viele mit LLMs verbundene Abrufprobleme. Sie hat sich in der Praxis bewährt und wird seit fast zwei Jahren erfolgreich eingesetzt. Allerdings hat sie ihre Grenzen. Sie kämpft unter bestimmten Bedingungen und glänzt unter anderen. Die Vorstellung, dass sie "die" Lösung für die Informationsbeschaffung für LLMs ist, ist schlichtweg eine Fehlinformation.

In Ihrer Anwendung könnte die optimale Lösung eine Volltext-Schlüsselwortsuche, eine Vektorsuche, eine relationale Datenbank, eine Graphdatenbank oder eine Mischung aus diesen sein. Es ist wichtig, das wahre Landschaftsbild der Informationsbeschaffung zu erkennen und zu verstehen.

Die Rolle der Vektordatenbanken

Die semantische Suche hat sich in den Schatten der Schlüsselwortsuche begeben und ist erst mit der Einführung von Vektorindizes und maschinellem Lernen richtig aufgeblüht. Diese Methode ermöglicht es, nach Bedeutungen, Konzepten und Ähnlichkeiten zu suchen, anstatt sich auf exakte Schlüsselwörter zu beschränken. Die semantische Suche eröffnet uns eine völlig neue Dimension des Suchens, indem sie uns erlaubt, nicht nur Texte, sondern auch Bilder, Gesichtserkennung und Fingerabdrücke zu durchsuchen. Mit semantischer Suche können wir wahre Magie erleben, indem wir beispielsweise "Schokoriegel + Kokos = Bounty" berechnen. 

Vektordatenbanken spielen dabei entscheidende Rolle in der AI-nativen Technologie-Stack. Sie sorgen für eine schnelle Abrufung von aus LLMs generierten Einbettungen, um verschiedene Anwendungsfälle zu bedienen. Dieses Muster wird voraussichtlich weiter wachsen. Das letzte Jahr hat eine Verbreitung von Open-Source-Vektordatenbanken gesehen, um diesem Bedarf gerecht zu werden.

Dennoch ist die Vektorsuche nicht immer die richtige Lösung. Viele Praktiker verstehen dies und verwenden die Vektorsuche oft als Teil ihres Informationserfassungssystems. Es gibt Ressourcen, die zeigen, wo die Relevanz der Vektorsuche von traditionellen, schlüsselwortbasierten Alternativen übertroffen wird.

Die Rolle der Schlüsselwortsuche

Der unverzichtbare Aspekt der Schlüsselwortsuche: Die Schlüsselwortsuche hat sich seit Jahrzehnten bewährt und ist nach wie vor die bevorzugte Methode, wenn es um die Suche nach exakten Begriffen wie Namen, Nummern, Lizenzplatten oder Domainnamen geht. Ihre Stärken liegen in der schnellen Indexierung großer Dokumentenmengen, hoher Abfragegeschwindigkeit und präzisen Ergebnissen bei exakter Übereinstimmung. Sie ist die erste Wahl, wenn es darum geht, die Nadel im Heuhaufen zu finden. Die Schlüsselwortsuche ist auch weniger rechenintensiv als die Vektorsuche, was sie zu einer kosteneffizienten Lösung für Informationsabrufaufgaben macht und gerade in industriellen Large Scale Datenbeständen, die eine eindeutige Antwort auf eine Suche ausgeben müssen, die Lösung der Wahl ist. 

Die Realität der Unternehmensanwendungen

Die Realität ist, dass ein großer Teil der Unternehmens-LLM-Anwendungen im Wesentlichen Suchsysteme mit einer generativen Benutzeroberfläche und einer Zielabrufeinheit eines "Chunks" oder kurzen Datensatzes anstelle eines langen Datensatzes sind. Es sei denn, es gibt eine erhebliche Abweichung in Ihrem Nutzungsverhalten, sind die Relevanzkriterien für die Suche und die LLM-Abrufung praktisch austauschbar. Anstatt uns also in dem Glauben zu wiegen, dass eine Methode die andere ersetzt, sollten wir lieber die Stärken beider Ansätze erkennen und ihre Fusion als die ultimative Lösung betrachten. Durch die Kombination von Schlüsselwortsuche und semantischer Suche erhalten wir eine Suche, die sowohl Präzision als auch Vollständigkeit der Ergebnisse bietet. Wir können große Dokumentenbestände effizient indizieren und skalieren, während wir gleichzeitig Bedeutungen, Konzepte, Ähnlichkeiten und Synonyme verstehen. Die Fusion dieser beiden Ansätze ermöglicht es uns, die verschiedenen Anforderungen und Bedürfnisse der Benutzer in verschiedenen Domänen und Situationen abzudecken.

Fazit

Die Verschmelzung von Schlüsselwortsuche und semantischer Suche ist der Schlüssel zu einer ganzheitlichen Suchlösung, die die Stärken beider Ansätze vereint. Durch die Kombination von Präzision und Vollständigkeit, Skalierbarkeit und Bedeutungsverständnis können wir Suchergebnisse liefern, die den Anforderungen unserer Benutzer in allen Bereichen gerecht werden. Anstatt uns auf eine "entweder/oder"-Entscheidung festzulegen, sollten wir die Synergie nutzen, die durch die Fusion dieser beiden Ansätze entsteht, und die Vorteile beider Welten voll ausschöpfen, denn sowohl die Vektorsuche als auch die Schlüsselwortsuche haben ihre Vor- und Nachteile. Es ist wichtig, die spezifischen Anforderungen und Bedingungen Ihrer Anwendung zu berücksichtigen, bevor man sich für eine Methode entscheidet. Es ist auch wichtig, sich nicht von der aktuellen Begeisterung (und eines VC Hypes) für eine bestimmte Technologie blenden zu lassen, sondern eine informierte Entscheidung zu treffen, die auf den tatsächlichen Bedürfnissen der jeweiligen Anwendung basiert. Schließlich gibt es in der Welt der KI und des ML selten eine "Einheitslösung". Stattdessen ist es oft eine Frage des richtigen Werkzeugs für den richtigen Job sowie nicht zu vergessen die Herausforderungen der Implementierung: Die Skalierung für eine hohe Anzahl von Dokumenten und gleichzeitigen Benutzern, die Gewährleistung niedriger Latenzzeiten bei Abfragen und die Integration zusätzlicher Funktionen wie Rechtschreibkorrektur, Vervollständigung oder Ergebnisgruppierung sind nur einige der Aufgaben, die es zu bewältigen gilt. Sowohl die Schlüsselwortsuche als auch die semantische Suche teilen sich diese Herausforderungen und erfordern eine sorgfältige Planung und Implementierung.

Wenn auch Ihr Unternehmen große Datenbestände mit Hilfe von KI analysiert und in mächtige Tools zur Automatisierung von Marketing und Vertrieb integriert oder den vorhandenen TechStack mit solchen Applikationen ausbauen möchte, bieten unsere Marketing Engineers im Bereich der Requirement Engineerings sowie der nachfolgenden Orchestrierung und Implementierung von Marketing Technologie Anwendungen folgende Einstiegspunkte für Marketing Entscheider und ihre Teams an: 

• Unser Marketing Automation Power Briefing vermittelt kompaktes Basiswissen über die aktuelle Anbieterlandscape an Graph Database Anwendungen, Large Language Modells sowie entsprechenden AI-gestützten Applikationen für Marketing- und Salesentscheider und ihre Teams.
• Unser Markenautomat Readiness Check findet methodisch Anwendungenspotenziale für das Mastering hoher Komplexität in Large Scale Datenbständen industrieller Umgebungen. 
• Mit unserem Implementation-Sprint setzen wir konkrete, klar abgezirkelte Graph-Database Lösungen – direkt für Ihre Marketing & Sales Operations um. 
• In Learning Journeys zeigen Ihnen unsere Marketing Engineers die Potenziale Ihrer bestehen Martech Tools auf und helfen mit konkreten Anwendungen und Tricks, die Möglichkeiten bestehenden TechStacks optimal auszunutzen. Denn nichts ist teurer, als ungenutzte oder teilgenutzte, aber bezahlte Marketing Technologie!!!                       

Gern kontaktieren und fordern Sie uns!