Vektordatenbanken KI: Auf 135 von 190 deutschen Startseiten ist der längste Textblock zu groß für einen Suchabschnitt

1. Einführung: Warum Ihre Texte in einer fremden Datenbank liegen

Ein KI-Assistent beantwortet eine Frage aus Ihrer Branche. Dafür durchsucht er keine Wortliste. Er vergleicht Zahlenreihen. Jeder Absatz, den ein Abrufsystem zuvor von einer Website geholt hat, wurde vorher in eine solche Reihe umgewandelt. Alle diese Reihen liegen in einer Datenbank, die genau für diesen Vergleich gebaut ist.

Vektordatenbanken sind Datenbanken, die Texte, Bilder und Audio nicht als Wörter ablegen, sondern als numerische Darstellungen von Daten: lange Zahlenreihen, die Vektoren heißen. Eine Abfrage wird in dieselbe Form gebracht. Zurück kommen die Einträge mit dem geringsten Abstand, also die inhaltlich ähnlichsten Fundstellen und nicht die wörtlich gleichen.

Was das für Sie heißt: Ihre Website wird nicht mehr nur nach Stichwörtern durchsucht. Ein Programm zerteilt sie in Abschnitte und rechnet jeden Abschnitt in eine Zahlenreihe um. Kommt später eine Frage, gewinnt der Abschnitt, der inhaltlich am nächsten liegt. Wie Sie Ihre Seiten gliedern, entscheidet also mit darüber, ob ein einzelner Abschnitt für sich allein verständlich bleibt.

Für Suchende ist das nichts Neues. Wer „günstige Übernachtung Nordsee“ eintippt, bekommt längst auch Ferienwohnungen an der Küste. Das Prinzip haben wir im Beitrag über Ähnlichkeit statt Stichwort beschrieben. Neu ist die Reichweite. Nicht nur Suchmaschinen rechnen mit Ähnlichkeit, sondern jedes KI-System, das vor der Antwort Quellen abrufen muss.

2. Von Sätzen zu Zahlen: Wie Einbettungen entstehen

Am Anfang steht ein Modell aus maschinellem Lernen. Gelesen wird ein Textabschnitt, zurückgegeben wird eine Reihe von Zahlen. Diese Reihe heißt Einbettung, weil der Text damit in einen Raum eingebettet wird. Nähe steht dort für semantische Bedeutung, nicht für gleiche Wörter.

2.1 Was in einer solchen Zahlenreihe steckt

Die Reihen sind lang. Aus jedem Abschnitt muss das Modell eine feste Zahl von Werten generieren: Das kleinere der beiden aktuellen Modelle von OpenAI liefert laut OpenAI-Dokumentation 1.536 Zahlen je Abschnitt, das größere 3.072. Solche hochdimensionale Vektoren sind mehrdimensional in einem Ausmaß, das sich nicht mehr zeichnen lässt. Keine einzelne Zahl steht für eine benennbare Eigenschaft. Erst das Zusammenspiel ergibt die Position.

Denken Sie an ein großes Gewürzregal. Niemand beschriftet die Fächer mit „scharf“ oder „süß“. Trotzdem stehen Kreuzkümmel und Koriander näher beieinander als Kreuzkümmel und Vanille, weil sie in denselben Gerichten vorkommen. So ordnet ein Modell Textabschnitte an: nach Gesellschaft, nicht nach Etikett.

2.2 Wie der Abstand gemessen wird

Für den Vergleich zweier Vektoren gibt es mehrere Rechenwege. Verbreitet sind der euklidische Abstand, also die Luftlinie, und die Kosinus-Ähnlichkeit, die nur die Richtung wertet. OpenAI empfiehlt die zweite Variante und misst damit die semantische Ähnlichkeit zweier Abschnitte. Das Ergebnis beschreibt die Dokumentation so: „Geringe Abstände deuten auf hohe Verwandtschaft hin, große Abstände auf geringe Verwandtschaft.“
(„Small distances suggest high relatedness and large distances suggest low relatedness.“)

Mehr Mathematik benötigen Sie nicht. Es gibt keinen Treffer und keinen Nichttreffer mehr, sondern eine Rangfolge von Abständen. Wie ein Modell zu diesen Abständen kommt, hängt an seinem Training. Dazu steht mehr in der Rechenlogik hinter Sprachmodellen.

3. Nachbarn statt Treffer: So arbeitet die Vektorsuche

Herkömmliche Datenbanken prüfen auf exakte Übereinstimmung. Steht in der Spalte „Ort“ nicht „Hamburg“, kommt der Datensatz nicht zurück. Sie verwalten strukturierte Datentypen in Spalten und Zeilen. Vektordatenbanken sind dagegen auf die Speicherung und Abfrage unstrukturierter Daten optimiert. Sie suchen ähnliche Vektoren, also die nächsten Nachbarn eines Abfragevektors im hochdimensionalen Raum, und geben die zwanzig besten mit Rangfolge zurück.

3.1 Die Suche ist absichtlich ungenau

Milliarden von Vektoren mit jedem Eintrag einzeln zu vergleichen, wäre nicht bezahlbar. Deshalb nutzen diese Systeme die Approximate Nearest Neighbor-Suche, kurz ANN. Der bekannteste Algorithmus heißt Hierarchical Navigable Small World, abgekürzt HNSW. Über die Daten wird dabei ein mehrstöckiges Netz gelegt. Die Suche springt oben grob heran und verfeinert nach unten. So kann ein riesiger Bestand effizient durchsucht werden.

Der Preis steht im Namen. Das Ergebnis ist eine Näherung. Manche passenden Einträge fallen heraus. Die Quote der tatsächlich gefundenen Nachbarn heißt Trefferquote.

Das funktioniert wie der Gang durch einen Supermarkt: Sie laufen zum passenden Regal, statt jedes Produkt einzeln zu prüfen.

3.2 Was ein aktueller Vergleich der Systeme zeigt

Wie weit die Systeme auseinanderliegen, hat eine Auswertung von sieben verbreiteten Systemen im August gemessen. Geprüft wurden FAISS, Qdrant, Milvus, Weaviate, Chroma, pgvector und LanceDB auf sechs Datensätzen mit über vier Millionen Vektoren. Der höchste Durchsatz lag bei 866 Abfragen pro Sekunde, die beste Trefferquote über 99 Prozent, die kürzeste mittlere Antwortzeit bei 4,55 Millisekunden.

Interessant ist die Streuung, nicht der Sieger. Gleiche Daten, gleiches Verfahren, sehr verschiedene Ergebnisse. Wer Ähnlichkeitssuche für exakt hält, unterschätzt, wie viel an der Konfiguration hängt. Skalierbarkeit und Tempo werden dabei immer gegen die Trefferquote getauscht. Das ist viel Spielraum.

4. Unsere Position: Reine Ähnlichkeitssuche ist nicht der beste Weg

Die meisten Ratgeber stellen zwei Fragen: Welche Tools soll ich einsetzen, und wie ersetze ich damit meine Stichwortsuche? Beide führen in die Irre. Semantische Suche ersetzt die alte Methode nicht. Sie ergänzt sie, mit eigenen blinden Flecken.

Ein Forschungsteam von Google DeepMind hat das im Prüfdatensatz LIMIT sichtbar gemacht. Die Aufgaben dort sind trivial, die Ergebnisse nicht. Kein getestetes Einbettungsmodell kam über 18,9 Prozent Trefferquote in den ersten 100 Ergebnissen, das schwächste lag bei 3,3 Prozent. Die Stichwortsuche BM25 erreichte 100,0 Prozent. Selbst bei nur 46 Dokumenten scheiterten die Modelle. Die Aufgabe war simpel.

„Unsere Arbeit zeigt die Grenzen von Einbettungsmodellen im bestehenden Einzelvektor-Paradigma und ruft dazu auf, in künftiger Forschung neue Verfahren zu entwickeln, die diese grundlegende Beschränkung auflösen.“
(„Our work shows the limits of embedding models under the existing single vector paradigm and calls for future research to develop new techniques that can resolve this fundamental limitation.“ Weller, Boratko, Naim und Lee)

Der Grund ist strukturell. Wie viele verschiedene Ergebnislisten ein Modell bilden kann, begrenzt die Zahl seiner Dimensionen. Mehr Trainingsdaten helfen nicht, wie die Arbeit zu den theoretischen Grenzen in der Fassung vom März belegt.

Das gilt auch außerhalb des Labors. Ein Vergleich von zehn Abrufverfahren über 23.088 Fragen und 7.318 komplexe Dokumente mit Text und Tabellen kam zum selben Befund.

„BM25 übertrifft moderne dichte Abrufverfahren auf Finanzdokumenten und stellt damit die verbreitete Annahme infrage, dass semantische Suche durchweg überlegen ist.“
(„BM25 outperforms state-of-the-art dense retrieval on financial documents, challenging the common assumption that semantic search universally dominates.“ Akarsu, Karaman und Mierbach)

Diese Grenze lässt sich nicht wegtrainieren.

Am besten schnitt in dieser Untersuchung zu zehn Abrufstrategien ein zweistufiges Verfahren ab: erst hybrid suchen, dann neu sortieren. Es erreichte 0,816 Trefferquote unter den ersten fünf Ergebnissen.

Hybrid heißt: zwei Abfragen parallel, eine über Stichwörter, eine über Ähnlichkeit, danach eine gemeinsame Rangfolge. Die Qdrant-Dokumentation benennt das Kernproblem: „Eines der häufigsten Probleme, wenn man verschiedene Darstellungen derselben Daten hat, ist es, die abgefragten Punkte aus jeder Darstellung zu einem einzigen Ergebnis zusammenzuführen.“ Gelöst wird es meist über Reciprocal Rank Fusion, ein Verfahren, das nur die Ränge verrechnet.

Für Ihre Inhalte folgt daraus etwas Beruhigendes. Ein präziser Fachbegriff bleibt wertvoll, weil die Stichwortseite ihn exakt findet. Die semantische Seite belohnt zusätzlich den klaren Zusammenhang. Am besten hält man beides zusammen. Genau diese Mischung benötigt ein System mit Quellenabruf vor der Antwort, im Fachjargon Retrieval-Augmented Generation.

5. Der Schnitt vor der Einbettung: Wo die meisten Websites verlieren

Eine ganze Seite wird nie am Stück eingebettet. Vorher zerlegt ein Programm den Text in Abschnitte von einigen hundert Wörtern. Dort geht am meisten verloren. Und dort können Sie eingreifen.

Anthropic beschreibt das Problem so: „Bei klassischem Abruf werden Dokumente üblicherweise in kleinere Abschnitte zerlegt. Für viele Anwendungen funktioniert das gut, es kann aber zu Problemen führen, wenn einzelnen Abschnitten der nötige Zusammenhang fehlt.“

Bekommt jeder Abschnitt vor dem Einbetten einen kurzen Satz über seinen Kontext, sinkt die Fehlerquote beim Abruf laut dieser Auswertung zu kontextbezogenem Abruf von 5,7 auf 3,7 Prozent. Mit Stichwortsuche zusammen sind es 2,9 Prozent, mit Nachsortierung 1,9 Prozent.

Wie geschnitten wird, wirkt ähnlich stark wie die Wahl des Modells. Das zeigt eine Untersuchung von 36 Schnittverfahren über sechs Wissensgebiete und fünf Modelle. Schnitt entlang der inhaltlichen Struktur erreichte 0,459 Punkte im Maß nDCG, stures Schneiden nach Zeichenzahl blieb unter 0,244. Bei der Frage, ob das beste Ergebnis auf Platz eins landet, standen 24 Prozent gegen 2 bis 3 Prozent.

Die inhaltliche Struktur einer Seite ist im Netz vor allem eines: die Zwischenüberschrift. An ihr kann ohne Umwege geschnitten werden.

Wir haben deshalb im September eine Stichprobe gezogen. Aus einer Rangliste tatsächlich genutzter Websites wurden 261 deutsche Adressen systematisch ausgewählt. 241 Startseiten waren auswertbar, 190 davon lieferten mindestens 300 Wörter im Rohdokument. Auf 135 dieser 190 Seiten ist der längste Textblock ohne Zwischenüberschrift länger als 1.200 Zeichen, im Mittel 2.183 Zeichen. In unseren Tests sehen wir dasselbe Muster auch bei gepflegten Unternehmensseiten.

51 der 241 Seiten lieferten weniger als 300 Wörter, weil der Text erst per Skript nachgeladen wird. Für ein Abrufprogramm ohne JavaScript ist dort fast nichts einzubetten. Das ist kein Randfall.

6. Anwendungsfälle für Vektordatenbanken und vier Ansatzpunkte

Typische Anwendungsfälle sind Empfehlungssysteme, die Suche nach ähnlichen Bildern, Betrugserkennung und Chatbots auf Firmenwissen. Entwickler bauen damit Suchfunktionen, die komplexe Daten nach Bedeutung erschließen. KI-Anwendungen brauchen dafür skalierbare Speicher für unstrukturierten Text, denn LLMs halten dieses Wissen nicht selbst bereit. Für die meisten Unternehmen ist das trotzdem kein Beschaffungsthema. Die Bedeutung von Vektordatenbanken liegt woanders: Ihre Inhalte liegen längst in fremden Systemen dieser Art.

1. Kleinere Abschnitte bilden. Alle 150 bis 250 Wörter eine aussagekräftige Zwischenüberschrift. Das verschiebt die Schnittkante dorthin, wo sie inhaltlich hingehört.
2. Jeden Abschnitt allein lesbar machen. Kein „das“ am Absatzanfang, wenn der Bezug drei Absätze vorher steht. Herausgeschnitten muss der Abschnitt verständlich bleiben.
3. Den exakten Fachbegriff stehen lassen. Die Stichwortseite findet nur, was wörtlich dasteht. Eine elegante Umschreibung schadet der Auffindbarkeit.
4. Den Kerninhalt serverseitig ausliefern. Was erst ein Skript nachlädt, sieht ein Abrufprogramm in der Regel nicht.

Gerade für Startups und Scaleups ist das eine gute Nachricht, weil hier Sorgfalt zählt und nicht Budget. Dazu kommt die Außenseite: Auch Fachartikel und Beiträge in fremden Medien werden eingebettet. Je eindeutiger Ihr Unternehmen beschrieben ist, desto weniger Verwechslungen produziert die Ähnlichkeitssuche. Dort setzt Optimierung des Wissensnetzes an.

7. Fazit

Eine Vektordatenbank ist kein Zaubertrick. Sie ist ein Abstandsrechner mit schnellem Index. Sie findet Ähnliches, verfehlt planmäßig einen Teil der richtigen Treffer und verliert zusätzlich, was beim Zerschneiden an Zusammenhang wegfällt. Die Zukunft der Vektordatenbanken liegt deshalb vermutlich eher in leistungsstarken hybriden Systemen als in reiner Ähnlichkeitssuche.

Für Sie folgt daraus keine Technikentscheidung, sondern eine redaktionelle. Klar gegliederte Seiten, Abschnitte, die für sich stehen, präzise Begriffe, ein Kerninhalt ohne Skript-Hürde. Ziel ist es, dass jeder Abschnitt auch dann trägt, wenn ihn niemand im Zusammenhang liest.

8. Anhang: Checkliste für abrufbare Abschnitte

• Gemessen wird der längste Textblock ohne Zwischenüberschrift, Zielwert unter 1.200 Zeichen.
• Jede Zwischenüberschrift so formulieren, dass sie den folgenden Abschnitt allein trägt.
• Stichprobe: einen Absatz herauskopieren und prüfen, ob er ohne Umgebung verständlich bleibt.
• Quelltext ohne JavaScript ansehen und zählen, wie viel Text ausgeliefert wird.
• Fachbegriffe sind zu vereinheitlichen, statt sie im Text elegant zu variieren.
• Nach drei Monaten erneut prüfen, welche Seiten in KI-Antworten auftauchen.

Dieser Beitrag gibt den Stand zum Zeitpunkt der Veröffentlichung wieder. Abrufverfahren, Modelle und Messwerte ändern sich laufend; alle Zahlen stammen aus den verlinkten Quellen und aus einer eigenen Stichprobe, die keine repräsentative Erhebung ist.