BERT: Wie die Google-Suche in 2020 Ergebnisse darstellt

BERT steht für Bidirectional Encoder Representations from Transformers. Wer dabei an sich verändernde Autos und Roboter denkt, liegt falsch. Stattdessen handelt es sich um einem leistungsstarken Textalgorithmus, den Bing und Google in ihren Suchanfragen einsetzen.

Textalgorithmen verstehen

BERT soll es Maschinen ermöglichen, natürliche Sprache zu verstehen. Damit ist es möglich, bei einer Web-Suche ganze Sätze zu nutzen und richtig zu interpretieren. In Zeiten von Alexa, Siri & Co. ein unverzichtbares Feature.

Um zu verstehen, welche Tücken die natürliche Sprache mit sich bringt, zuerst ein kurzer Rückblick. Frühere Textalgorithmen – z.B. Word2vec, das Google 2013 veröffentlicht hat – konnten einzelne Worte in Beziehung zueinander setzen und Parallelen feststellen. Also z.B. Mann und Frau verhält sich zueinander wie König und Königin. Oder auch umgekehrt: Frau und Königin verhält sich zueinander wie Mann und König.

Transformers im Machine Learning

Transformers hingegen beschäftigten sich mit ganzen Wortgruppen und Sätzen. Diese Algorithmen werden mit einer Vielzahl an Texten trainiert und lernen dadurch den Aufbau und die Logik von Sätzen. So kann z.B. der Algorithmus GPT-2 das nächste Wort berechnen kann und auch erkennen, auf welches Wort sich Pronomen beziehen.

Ein häufig zitiertes Beispiel sind folgende zwei Sätze, die das Problem der Pronomen verdeutlichen:

The animal didn’t cross the street because it was too tired.
The animal didn’t cross the street because it was too wide.

Für Menschen mit englischen Sprachkenntnissen ist ganz klar, dass sich it einmal auf das Tier und einmal auf die Straße bezieht. Ähnlich ist es mit Worten, die mehrere Bedeutungen haben: Im datenwerk wird immer geschmunzelt, wenn sich die deutschen Kolleginnen und Kollegen nach einem Stuhl umsehen.

Da GPT-2 das folgende Wort berechnen kann, können damit auch Texte geschrieben werden. Die Webseiten talktotransformer.com und grover.allenai.org zeigen das sehr eindrucksvoll: Dort kann ein Textanfang oder Titel auf Englisch eingegeben werden. Der Algorithmus spuckt einen sinnvollen Text danach aus. Das Besondere an GROVER: Es überprüft die Herkunft (Mensch oder Maschine) von Texten.

Noch ein Schritt weiter mit BERT

Vereinfacht gesagt kann BERT das, was GPT-2 kann nun in beide Richtungen. Die Wahrscheinlichkeiten werden bidirektional berechnet. Wenn z.B. das it vor seinem Bezug steht, erkennt BERT das, während sich GPT-2 schwer tut.

Außerdem bezieht sich die Analyse bei BERT auch auf den folgenden Satz. Es kann also auch die Wahrscheinlichkeit für den folgenden und für den vorangegangenen Satz berechnet werden. Damit werden zusammenpassende Satzpaare gefunden.

BERT in der Praxis bei Google

Google setzt BERT in der Suche überall dort ein, wo der neue Textalgorithmus eine inhaltliche Verbesserung der Suchintention bietet – und das seit Dezember 2019 weltweit. Zur Illustration dieser Verbesserungen hat Google auch mehrere Beispiele wie dieses hier veröffentlicht.

Im Beispiel wird der Unterschied einer Google-Suche mit und ohne BERT gezeigt: Gesucht wird nach Mathe-Büchern für Erwachsene. Nur mit BERT kommt ein passendes Ergebnis

Beispiel zur Illustration von BERT bei der Suche nach Mathe-Büchern für Erwachsene (Bildquelle: Google Blog)

BERT erkennt also nun die Bedeutung des gesamten Satzes. Trainingsbasis war z.B. die englischsprachige Wikipedia. Das führt auch dazu, dass BERT selbstständig neue Verbindung zwischen Informationen herstellen kann: Wenn ich z.B. google „Welchen Beruf hat Greta Thunbergs Mutter“, antwortet Google bereits mit den beiden Knowledge Panels zu Malena Ernman und Opernsänger.

BERT hat erkannt, dass Greta Thunbergs Mutter eine Entität (eine Sinneinheit) ist und gleich den Beruf geliefert, ohne dass ich nach dem Namen der Mutter zuerst googeln musste, um danach ihren Beruf zu googeln. Diese Erkennung von Entitäten erfolgt dabei multilingual über alle Sprachen hinweg.

Was heißt das für SEO?

In der Suchmaschinenoptimierung ändert sich durch BERT wenig. Die Suchintention wird noch wichtiger und sollte in der Optimierung berücksichtigt werden. Sich anzusehen, im Umfeld welcher anderen Wörter sich die eigenen Keywords befinden, kann auch einen Überblick für textliche Anpassungen schaffen. Aber – darüber ist sich die SEO-Welt einig – für BERT allein lässt sich nicht optimieren.

Wenn du bis hierher gelesen hast, kennst du dich mit BERT aus. Wenn du noch Fragen hast, wende dich gern an unsere Expertinnen und Experten via office@datenwerk.at

Schreib uns

Petra Permesser

Petra Permesser

Petra weiß, was das Netz spricht. Die Kommunikationswissenschafterin und Soziologin kümmert sich im datenwerk um alles, was mit Daten zu tun hat: Suchmaschinenoptimierung, Algorithmen, Ads und das Social Media Monitoring Tool "Opinion Tracker" sind Petras Metier. Außerdem tüftelt sie häufig an Story Maps und weiß, wie komplexe Software-Projekte mittels User Stories strukturiert werden können.

Das könnte Dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.