Crawling und Audits für mehrsprachige Websites: So decken Sie Fehler in 24 Märkten auf

Grundlagen mehrsprachigen Crawlings: Warum technische Audits für 24 Märkte unverzichtbar sind

Betreiber einer mehrsprachigen Website mit 24 EU-Märkten stehen vor der Herausforderung, technische Fehler in allen Sprachvarianten zuverlässig zu erkennen. Eine manuelle Prüfung jeder Seite ist bei dieser Größenordnung nicht effizient umsetzbar. Ein automatisiertes Crawling ermöglicht es, systematisch alle URLs zu durchlaufen und Abweichungen pro Markt zu erfassen. In der Praxis setzen erfahrene Teams Crawler ein, um hreflang-Attribute, Sitemaps und Sprachsignale parallel zu analysieren. Auf diese Weise lassen sich Probleme wie fehlende Rückverweise, inkorrekte Language-Tags oder defekte interne Links identifizieren, bevor sie sich negativ auf die Indexierung auswirken.

Der Nutzen liegt auf der Hand: Ein Crawler prüft zuverlässig, ob jede Sprachversion korrekt auf ihre Alternativen verweist. Beispiel: Eine deutsche Seite mit Zielgruppe Schweiz muss auch auf die Schweizer Version zeigen. Fehlt dieser Verweis, sehen Nutzer aus der Schweiz unter Umständen die falsche Sprachvariante. Ähnlich verhält es sich mit Sitemaps: Verfügt jeder Markt über eine eigene Sitemap, muss diese alle relevanten URLs enthalten. Ein Crawler kann die Sitemap-Struktur automatisch überprüfen und fehlende Unterseiten melden. Zudem deckt er überflüssige Weiterleitungen oder nicht erreichbare Ressourcen auf, die die Ladezeit beeinträchtigen.

Ein Crawler kann auch unterschiedliche Accept-Language-Header simulieren, um zu testen, ob die Website korrekt auf die bevorzugte Sprache umleitet. Auf diese Weise erkennen Sie Fehlkonfigurationen im Content-Negotiation-Prozess. Darüber hinaus lässt sich prüfen, ob jede Seite ein korrektes href lang-Tag aufweist und ob die Sprachkennzeichnung im HTML lang-Attribut mit der tatsächlichen Sprache übereinstimmt. Werden solche Signale nicht konsistent gesetzt, laufen Sie Gefahr, dass Suchmaschinen die falsche Sprachversion ausliefern – ein Risiko, das sich mit einem regelmäßigen Audit minimieren lässt.

Die Integration eines regelmäßigen Crawlings in den Workflow reduziert das Risiko, dass technische Fehler lange unbemerkt bleiben. In der Praxis hat sich ein monatlicher oder mit jedem Release durchgeführter Audit bewährt. Dabei sollten Sie darauf achten, dass der Crawler die Crawl-Richtlinien der Suchmaschinen respektiert, um keine negativen Konsequenzen zu provozieren. Hinweis: Die rechtlichen Rahmenbedingungen für das Crawlen eigener Webseiten unterscheiden sich je nach Land. Wir empfehlen daher, die Umsetzung mit einem spezialisierten Rechtsberater abzustimmen. Ein durchdachtes Crawling-Konzept ist die Grundlage für eine konsistente technische Qualität über alle Märkte hinweg.

Typische Fehlerquellen bei hreflang, Sitemaps und Sprachsignalen

Bei der Überprüfung mehrsprachiger Websites treten immer wieder dieselben Fehlerquellen auf. Zu den häufigsten hreflang-Fehlern zählen das Fehlen von Alternativverweisen, falsche Sprachkürzel (z. B. ‚de‘ statt ‚de-DE‘) und inkonsistente Rückverweise zwischen den Sprachvarianten. In der Praxis beobachten wir, dass oft nur eine Richtung gepflegt wird: Eine französische Seite verlinkt auf die deutsche, aber die deutsche vergisst den Rückverweis. Ebenso problematisch sind Seiten, die mit hreflang auf sich selbst verweisen, ohne Alternativen anzugeben. Das führt zu einer unvollständigen Signalisierung für Suchmaschinen und kann die Indexierung der Märkte beeinträchtigen.

Auch bei Sitemaps treten spezifische Fehler auf. Manche Projekte fassen alle Sprachversionen in einer einzigen Sitemap zusammen, was die Crawling-Effizienz mindert. Optimal ist es, pro Markt eine eigene Sitemap zu erstellen und diese korrekt in der robots.txt zu referenzieren. Ein häufiger Fehler ist das Fehlen bestimmter Unterseiten in der Sitemap, sodass sie nicht von Suchmaschinen entdeckt werden. Zudem sollten die Sitemaps das lastmod-Datum enthalten, um die Aktualität zu signalisieren. Ein Crawler kann solche Lücken automatisch erkennen, indem er die Sitemap mit der tatsächlichen Seitenstruktur abgleicht.

Sprachsignale wie das HTML lang-Attribut, hreflang, Content-Language-Header und die sichtbare Textsprache müssen konsistent sein. Eine typische Fehlerquelle ist ein Widerspruch zwischen HTML lang-Attribut und hreflang-Angabe. So könnte eine Seite mit lang="de" versehen sein, aber hreflang="en" enthalten. Suchmaschinen interpretieren solche Signale unsicher. Darüber hinaus sollten Sie überprüfen, ob jede Sprachversion tatsächlich in der angegebenen Sprache verfasst ist. Ein gemischtsprachiger Text (z. B. deutsche Navigation bei eigentlich englischem Inhalt) verwirrt sowohl Nutzer als auch Suchmaschinen. Regelmäßige Crawls helfen, diese Inkonsistenzen aufzudecken.

Um diese Fehler systematisch zu identifizieren, empfiehlt sich die Erstellung einer Checkliste mit allen zu prüfenden Kriterien. Crawling-Tools bieten Filterfunktionen, mit denen Sie beispielsweise alle Seiten ohne korrektes hreflang-Tag auflisten können. Achten Sie auch auf die Behandlung von Subdomains: Wenn Sie für jeden Markt eine eigene Subdomain verwenden (z. B. de.example.com, fr.example.com), muss hreflang über Domaingrenzen hinweg korrekt gesetzt sein. Mit einem gut konfigurierten Crawler können Sie alle diese Aspekte in einem Durchlauf prüfen und so den Wartungsaufwand erheblich reduzieren.

Auswahl des passenden Crawling-Tools für Ihre Anforderungen

Die Wahl des richtigen Crawling-Tools hängt maßgeblich von Ihrem Projektumfang, Ihrem Budget und der technischen Expertise Ihres Teams ab. Zunächst sollten Sie prüfen, wie viele URLs die Website insgesamt umfasst und wie viele Crawls pro Monat nötig sind. Für eine Website mit 24 Märkten kommen schnell mehrere 100.000 URLs zusammen. Tools, die auf große Datenmengen ausgelegt sind, bieten hier Vorteile. Achten Sie darauf, dass der Crawler Ihre spezifischen Konfigurationen unterstützt, etwa die Anpassung von User-Agent, Accept-Language-Headern oder Cookie-Einstellungen. Nur so können Sie realistische Szenarien aus jedem Markt simulieren.

Ein weiteres wichtiges Kriterium ist die Unterstützung für mehrsprachige Strukturen. Das Tool sollte in der Lage sein, hreflang-Tags zu parsen und auf Konsistenz zu prüfen. Idealerweise bietet es vordefinierte Checks für häufige Fehler oder die Möglichkeit, eigene Regeln über reguläre Ausdrücke zu definieren. Auch der Export der Ergebnisse ist entscheidend: Sie benötigen übersichtliche Berichte, die Sie mit Ihrem Team teilen können – sei es als CSV, Excel oder über eine API. In der Praxis hat sich bewährt, ein Tool zu wählen, das sowohl Desktop-basiert als auch cloudbasiert nutzbar ist, um flexibel auf unterschiedliche Einsatzzwecke reagieren zu können.

Die Skalierbarkeit des Tools spielt eine zentrale Rolle. Ein Desktop-Tool kann für kleinere Projekte ausreichen, stößt aber bei Millionen von URLs an seine Grenzen. Cloudbasierte Lösungen verteilen die Last auf mehrere Server und beschleunigen den Crawl-Vorgang erheblich. Bedenken Sie auch die Laufzeit: Ein kompletter Crawl über alle 24 Märkte kann je nach Größe mehrere Stunden oder Tage dauern. Planen Sie daher ausreichend Zeit ein oder nutzen Sie inkrementelle Crawls, die nur geänderte Seiten prüfen. Letztlich sollten Sie die Kosten gegen den Nutzen abwägen: Ein teureres Tool bietet oft tiefere Analysefunktionen, während ein günstigeres Ihre Anforderungen vielleicht ebenso erfüllt.

Vor der finalen Entscheidung empfehlen wir, eine Testversion der in Frage kommenden Tools zu nutzen. Prüfen Sie, ob die Bedienoberfläche intuitiv ist und ob der Support bei Fragen schnell reagiert. Achten Sie auch auf die Einhaltung datenschutzrechtlicher Vorgaben: Der Crawler sollte keine personenbezogenen Daten erfassen oder extern speichern, es sei denn, Sie haben dies rechtskonform geregelt. Hinweis: Die rechtliche Zulässigkeit des Crawlings kann je nach Land variieren; konsultieren Sie bei Unsicherheiten einen Rechtsbeistand. Mit dem passenden Tool schaffen Sie eine verlässliche Basis für die kontinuierliche Qualitätssicherung Ihrer mehrsprachigen Website.

Vorbereitung: Sitemaps, Sprachvarianten und Test-URLs definieren

Bevor Sie mit dem automatisierten Crawling beginnen, müssen Sie eine solide Testbasis schaffen. Definieren Sie zunächst alle relevanten Sprachvarianten Ihrer Website. Listen Sie alle Länder und Sprachen auf, die Sie abdecken möchten – für die EU sind das 24 Amtssprachen. Notieren Sie zu jeder Variante die korrekte URL-Struktur, beispielsweise domain.de, domain.at oder domain.com/de/. Erstellen Sie dann eine repräsentative Liste von Test-URLs, die alle Sprachversionen und wichtige Seitentypen (Startseite, Produktseiten, Kategorieseiten, rechtliche Seiten) abdeckt. Wählen Sie pro Sprachvariante mindestens fünf bis zehn Seiten aus, idealerweise mit unterschiedlichen hreflang-Konfigurationen.

Parallel dazu müssen Sie die XML-Sitemaps überprüfen und notfalls bereinigen. Jede Sprachvariante sollte eine eigene Sitemap haben oder klar getrennte Einträge in einer gemeinsamen Sitemap. Achten Sie darauf, dass die Sitemaps nur auf die offiziellen URLs verweisen und keine Weiterleitungen enthalten. Exportieren Sie die Sitemaps als Referenz, damit Sie später die Crawler-Ergebnisse mit den erwarteten Einträgen abgleichen können. Vermeiden Sie es, URLs aus anderen Sprachversionen in die falsche Sitemap aufzunehmen – ein häufiger Fehler, der zu inkonsistenten Signalen führt.

Legen Sie außerdem Ihre Crawling-Parameter fest: Welche Tools verwenden Sie? Legen Sie die maximale Crawl-Tiefe, die User-Agent-Einstellungen und die Geschwindigkeitsbegrenzung fest, um die Server nicht zu überlasten. Notieren Sie die erwarteten hreflang-Werte für jede Test-URL in einer Tabelle. Diese Vorbereitung erspart Ihnen später aufwendige Nacharbeiten. In der Praxis zeigt sich, dass eine systematische Testdefinition die Fehlererkennungsrate deutlich erhöht, da Sie nicht blind crawlen, sondern gezielt nach Abweichungen suchen können.

Denken Sie auch an die rechtlichen Rahmenbedingungen: Bei Tests im EU-Raum müssen Sie die Datenschutz-Grundverordnung beachten. Verwenden Sie keine personenbezogenen Daten in Ihren Test-URLs, und stellen Sie sicher, dass Ihre Crawling-Aktivitäten keine unerwünschten Zugriffe auslösen. Im Zweifelsfall konsultieren Sie einen Rechtsberater, um sicherzustellen, dass Ihre Audits den geltenden Vorschriften entsprechen.

Automatisierte Prüfung von hreflang-Tags auf Korrektheit und Konsistenz

Nach der Vorbereitung starten Sie das automatisierte Crawling mit Fokus auf hreflang-Tags. Moderne Crawling-Tools können die hreflang-Implementierung einer Website analysieren und auf typische Fehler wie fehlende Tags, falsche Sprachcodes oder inkonsistente Verlinkungen hinweisen. Konfigurieren Sie Ihr Tool so, dass es für jede gecrawlte Seite die hreflang-Elemente im Quellcode oder im HTTP-Header ausliest. Achten Sie dabei auf folgende Prüfkriterien:

Überprüfen Sie, ob jeder Sprachvariante ein gültiger Sprachcode zugewiesen ist. Verwenden Sie die ISO-639-1-Form (z. B. de, fr, es) und bei Ländervarianten den Unterstrich (z. B. en-GB, de-AT). Stellen Sie sicher, dass die hreflang-Werte konsistent sind – wenn Seite A auf B verweist, muss B zurück auf A verweisen (bidirektionale Konsistenz). Lassen Sie sich fehlende Gegenverweise oder falsche Codes als Fehler ausgeben. In der Praxis treten häufig Probleme bei der Verwendung von x-default auf: Dieser Wert sollte nur für Seiten ohne spezifische Sprachausrichtung genutzt werden, nicht als Platzhalter für nicht vorhandene Übersetzungen.

Erstellen Sie nach dem Crawling eine Übersicht aller erkannten hreflang-Sets. Jedes Set sollte alle Sprachversionen einer logischen Seite enthalten. Fehlen einzelne Varianten oder sind doppelte Einträge vorhanden, markieren Sie diese als Fehler. Beispiel: Eine Produktseite existiert auf Deutsch und Französisch, aber das hreflang-Set verweist nur auf die deutsche Seite – dann fehlt der französische Eintrag. Prüfen Sie auch die Konsistenz der URLs innerhalb der Sets: Bei unterschiedlichen Pfaden (z. B. /de/produkt vs. /produkt?lang=de) müssen alle Varianten korrekt angegeben sein.

Dokumentieren Sie alle gefundenen Abweichungen und priorisieren Sie die Korrektur. In mehrsprachigen Projekten mit 24 Märkten empfiehlt es sich, die Fehler nach Sprachvariante zu gruppieren und in regelmäßigen Abständen erneut zu crawlen. Automatisieren Sie diesen Prozess, indem Sie die Crawling-Ergebnisse mit Ihrer erwarteten hreflang-Matrix abgleichen. So stellen Sie sicher, dass die hreflang-Tags langfristig korrekt bleiben – insbesondere nach Content-Updates oder Seitenumstrukturierungen.

Analyse der XML-Sitemaps: Abdeckung und korrekte Sprachzuordnung

Die XML-Sitemaps bilden das Rückgrat Ihrer mehrsprachigen Website-Struktur. Nach der hreflang-Prüfung widmen Sie sich daher der Analyse der Sitemaps. Crawlen Sie gezielt die Sitemap-Dateien und prüfen Sie, ob alle Sprachvarianten vollständig abgedeckt sind. Ein häufiger Fehler ist, dass neue Übersetzungen nicht in die Sitemap aufgenommen werden oder dass veraltete Seiten weiterhin gelistet sind. Überprüfen Sie daher die Anzahl der Einträge pro Sprachvariante: Erwarten Sie für jede Sprache eine ähnliche Seitenanzahl (sofern Ihr Content stringent übersetzt ist). Große Abweichungen deuten auf fehlende oder überflüssige Einträge hin.

Achten Sie darauf, dass die URL-Angaben in der Sitemap mit der tatsächlichen Sprachzuordnung übereinstimmen. Jede URL sollte einen eindeutigen Sprachkontext haben – entweder durch die Domain, das Verzeichnis oder den Dateinamen. Crawlen Sie alle Sitemap-URLs und prüfen Sie, ob sie auf die richtige Sprachversion verweisen. Nutzen Sie dazu Ihr hreflang-Wissen aus dem vorherigen Schritt: Die in der Sitemap genannten URLs müssen mit den hreflang-Tags auf der Seite selbst konsistent sein. Wenn die Sitemap eine deutsche URL enthält, die Seite aber kein hreflang-Tag für Deutsch hat, ist das ein Widerspruch.

Prüfen Sie auch die Sitemap-Indexdateien (falls vorhanden). Oft wird eine übergeordnete Sitemap verwendet, die auf einzelsprachliche Sitemaps verweist. Stellen Sie sicher, dass jede Sub-Sitemap korrekt referenziert ist und keine defekten Links enthält. Ein Tool wie Screaming Frog oder Sitebulb kann diese Analyse automatisieren und Ihnen eine Liste aller Sitemap-Einträge mit Statuscodes liefern. Achten Sie auf 404-Fehler oder Weiterleitungen – diese sollten in der Sitemap nicht vorkommen, da sie Suchmaschinen unnötige Signale senden.

Dokumentieren Sie alle Abweichungen und erstellen Sie einen Aktionsplan. Empfehlenswert ist es, die Sitemap-Prüfung in Ihr regelmäßiges Monitoring aufzunehmen – idealerweise nach jedem größeren Content-Update. So halten Sie die Sitemaps sauber und stellen sicher, dass alle 24 Märkte vollständig indexiert werden können. Denken Sie daran: Auch hier gelten rechtliche Anforderungen an den Datenschutz; verwenden Sie keine personenbezogenen Daten in den Sitemaps.

Erkennung und Behebung von Broken Links und Weiterleitungsfehlern

Broken Links und fehlerhafte Weiterleitungen sind häufige Stolpersteine in mehrsprachigen Websites. Ein einzelner defekter Link in einer Sprachversion kann Vertrauen kosten und den Nutzerfluss unterbrechen. Zudem signalisieren Weiterleitungsketten oder 404-Fehler den Suchmaschinen, dass die Seite nicht optimal gepflegt wird – was sich auf die Sichtbarkeit auswirken kann.

Um diese Fehler systematisch aufzudecken, setzen Sie auf automatisierte Crawler, die alle 24 Sprachvarianten durchgehen. Tools wie Screaming Frog oder Sitebulb erlauben es, einen Crawl mit den Start-URLs aller Sprachversionen zu konfigurieren. Achten Sie darauf, dass der Crawler die alternativen Sprach-URLs (z. B. via hreflang) folgt, um ein vollständiges Bild zu erhalten. Filtern Sie im Anschluss die Ergebnisse nach Statuscode: 4xx- und 5xx-Fehler sowie 3xx-Weiterleitungen, die nicht auf die finale Ziel-URL zeigen.

Eine bewährte Vorgehensweise ist die Erstellung einer Liste aller URLs aus den Sitemaps aller Sprachen. Lassen Sie den Crawler diese Liste abarbeiten und protokollieren Sie jede fehlgeschlagene Anfrage. Beachten Sie, dass Weiterleitungen nicht pauschal negativ sind: Eine temporäre Weiterleitung (302) bei Wartungsarbeiten ist akzeptabel, dauerhafte (301) sollten jedoch nur auf die korrekte Ziel-URL in derselben Sprache führen. Prüfen Sie insbesondere, ob Sprachversionen auf die falsche Sprache weiterleiten – etwa von /de/ auf /en/. Das verwirrt Nutzer und Suchmaschinen.

Zur Behebung gehen Sie strukturiert vor: Korrigieren Sie defekte interne Links direkt im CMS, indem Sie die Ziel-URL aktualisieren. Für externe Links, die nicht mehr erreichbar sind, entscheiden Sie, ob Sie sie entfernen oder durch eine Alternative ersetzen. Bei Weiterleitungen verkürzen Sie Ketten auf maximal einen Schritt und stellen die Sprachkonsistenz sicher. Planen Sie regelmäßige Audits – mindestens quartalsweise – ein, denn mit jedem Content-Update können neue Broken Links entstehen. So bleibt Ihre mehrsprachige Website technisch sauber und nutzerfreundlich.

Überprüfung von Meta-Tags, Title-Tags und Sprachdeklarationen

Meta-Tags, Title-Tags und Sprachdeklarationen bilden das Grundgerüst für die suchmaschinengerechte Kommunikation Ihrer Inhalte. In einem multilingualen Setup müssen diese Elemente nicht nur pro Sprachversion korrekt sein, sondern auch konsistent über alle 24 Märkte hinweg. Fehler wie fehlende oder falsche Sprachangaben im HTML-Attribut „lang“ oder inkonsistente Title-Tags können die Indexierung und das Nutzerverständnis beeinträchtigen.

Nutzen Sie Ihren Crawler, um alle relevanten Meta-Daten zu extrahieren. Erstellen Sie eine Tabelle mit den Spalten: URL, Sprachversion, Title-Tag, Meta-Description, HTML-lang-Attribut, und ggf. Open-Graph-Tags. Filtern Sie dann nach Auffälligkeiten: Leere Title-Tags oder solche, die kürzer als 30 Zeichen sind, sollten überarbeitet werden. Achten Sie darauf, dass die Title-Tags die jeweilige Landessprache verwenden und nicht etwa einen englischen Titel für die deutsche Seite enthalten. Meta-Descriptions sollten ebenfalls in der Zielsprache verfasst sein und den Inhalt präzise zusammenfassen.

Die Sprachdeklaration im HTML-Element (<html lang="de">) muss mit der tatsächlich verwendeten Sprache übereinstimmen. Ein häufiger Fehler ist, dass das lang-Attribut auf „en“ gesetzt wird, obwohl der Inhalt auf Französisch ist. Prüfen Sie auch das „xml:lang“-Attribut für XHTML-Seiten. Verwenden Sie einen Crawler, der diese Attribute ausliest, und gleichen Sie sie mit der Sprachversion aus Ihrer Sitemap oder der URL-Struktur ab. Falls Sie hreflang-Tags einsetzen, müssen diese ebenfalls mit dem lang-Attribut harmonieren.

Um die Konsistenz langfristig zu sichern, etablieren Sie klare Redaktionsrichtlinien: Jede Sprachversion erhält eigene, übersetzte Meta-Tags, niemals maschinelle Übersetzungen ohne Nachbearbeitung. Führen Sie bei jedem Release eines neuen Contents oder einer Übersetzung einen automatischen Check durch – etwa mittels eines CI-Tools, das die Ausgabe des Crawlers mit Ihren Vorgaben abgleicht. So vermeiden Sie, dass sich Fehler einschleichen, und stellen sicher, dass alle 24 Märkte mit korrekten, suchmaschinenoptimierten Meta-Informationen ausgestattet sind.

Content-Duplikate und kanonische URLs in mehrsprachigen Setups

In mehrsprachigen Websites entstehen Duplikate oft nicht durch böse Absicht, sondern durch technische Gegebenheiten: identische Produktbeschreibungen in verschiedenen Ländern, ähnliche Landingpages oder fehlende kanonische URLs. Suchmaschinen sehen doppelten Content kritisch, da sie nicht wissen, welche Version die relevante ist. Das kann zu einer Verwässerung der Rankings führen – besonders ärgerlich, wenn Sie in 24 Märkten präsent sind.

Ein Crawling-Tool hilft Ihnen, Duplikate systematisch zu identifizieren. Konfigurieren Sie den Crawler so, dass er den Inhalt (z. B. den Textkörper) jeder Seite erfasst und mittels eines Fingerabdrucks (Hash) vergleicht. Seiten mit identischem Inhalt werden markiert – unabhängig von der Sprache. Bedenken Sie: Echte Duplikate liegen vor, wenn der Inhalt in derselben Sprache mehrfach existiert. Inhalte, die in verschiedene Sprachen übersetzt sind, gelten nicht als Duplikate. Allerdings kann es vorkommen, dass eine englische Seite für den US-Markt und eine für den UK-Markt weitgehend identisch sind – dann sollten Sie entscheiden, ob eine Version kanonisch gesetzt wird oder ob Sie die Inhalte unterscheiden.

Für Sprachversionen, die sich überschneiden (z. B. Deutsch in Deutschland, Österreich und der Schweiz), empfiehlt es sich, kanonische URLs gezielt einzusetzen. Wenn Sie exakt identische Inhalte ausliefern, setzen Sie eine kanonische URL auf die bevorzugte Variante. Andernfalls nutzen Sie hreflang, um die Alternativen zu kennzeichnen – aber achten Sie darauf, dass beide Signale harmonieren. Ein häufiger Fehler ist, dass hreflang auf eine Seite verweist, die eine andere Seite als kanonisch angibt. Das führt zu Widersprüchen.

Zur Behebung von Duplikaten gehen Sie fallweise vor: Für Seiten, die inhaltlich nah beieinander liegen, unterscheiden Sie sie durch sprachspezifische Anpassungen (z. B. lokale Maßeinheiten, kulturelle Referenzen). Falls eine Anpassung nicht sinnvoll ist, fassen Sie die Versionen zusammen und leiten Sie die anderen per 301 weiter. Setzen Sie für jede Sprachversion einen eigenen kanonischen Link, der auf sich selbst verweist – außer Sie haben explizit einen anderen Grund. Dokumentieren Sie Ihre Entscheidungen und überprüfen Sie nach jedem größeren Update erneut, ob neue Duplikate entstanden sind. So bleibt Ihre mehrsprachige Website sauber und suchmaschinenfreundlich.

Performance- und Ladezeitmessung für jede Sprachversion

Die Ladezeit einer Website wirkt sich direkt auf die Nutzererfahrung und die Suchmaschinenplatzierung aus. Bei mehrsprachigen Websites müssen Sie für jede Sprachversion separate Messungen durchführen, da Serverstandorte, CDN-Konfigurationen und die Größe der lokalisierten Ressourcen variieren. Verwenden Sie Tools wie Google PageSpeed Insights, Lighthouse oder GTmetrix, um für jede URL die Ladezeit, den First Contentful Paint (FCP) und den Largest Contentful Paint (LCP) zu erfassen. Führen Sie die Tests idealerweise von geografisch verteilten Standorten aus, um die Ladezeit realistisch abzubilden – ein Tool wie WebPageTest bietet hierfür mehrere Teststandorte.

Erstellen Sie eine Liste aller Sprachvarianten Ihrer Startseite sowie der wichtigsten Unterseiten (etwa Produkt- oder Kategorieseiten). Messen Sie jede URL mehrmals, am besten zu verschiedenen Tageszeiten, und notieren Sie die Durchschnittswerte. Achten Sie besonders auf die LCP-Schwelle von 2,5 Sekunden; bei mehr als 4 Sekunden steigt die Absprungrate erfahrungsgemäß deutlich an. Prüfen Sie zudem, ob Sprachressourcen wie Schriftarten oder Übersetzungsdateien asynchron geladen werden und ob die Komprimierung (Brotli oder Gzip) aktiviert ist.

Ein häufiger Fehler: Sprachversionen, die auf einem anderen Server oder über eine andere CDN-Konfiguration ausgeliefert werden, weisen abweichende Ladezeiten auf. Notieren Sie sich die Werte je Sprachvariante und vergleichen Sie sie. Falls eine Sprachversion auffällig langsam ist, prüfen Sie den Serverstandort, die Caching-Einstellungen und die Anzahl der HTTP-Requests. Optimieren Sie Bilder und Skripte für die jeweilige Sprache, da lokalisierte Inhalte (etwa andere Bildformate oder längere Texte) die Ladezeit beeinflussen können.

Empfehlung: Richten Sie ein regelmäßiges Monitoring ein, das die Ladezeiten aller Sprachversionen automatisch misst. Tools wie Sitebulb oder Screaming Frog können mit entsprechenden Skripten auch Performance-Metriken in den Crawl einbeziehen. Halten Sie Schwellenwerte fest, bei denen eine manuelle Überprüfung erforderlich wird. So stellen Sie sicher, dass Ihre mehrsprachige Website in allen Märkten eine gleichbleibend schnelle Nutzererfahrung bietet.

Dokumentation der Ergebnisse und Fehlerprotokollierung

Nach dem Crawl und den Performance-Messungen müssen Sie die Ergebnisse strukturiert dokumentieren, um Fehler nachvollziehen und priorisieren zu können. Erstellen Sie ein zentrales Fehlerprotokoll, idealerweise in einer Tabelle (z. B. Google Sheets oder Excel) oder einem Ticketing-System. Erfassen Sie pro Fehler die betroffene URL, die Sprachversion, das Datum, die Fehlerart (z. B. falsches hreflang, defekter Link, langsame Ladezeit) und den Status (offen, in Bearbeitung, behoben). Fügen Sie Screenshots oder Log-Auszüge hinzu, damit Entwickler den Fehler schnell reproduzieren können.

Dokumentieren Sie nicht nur Einzelfehler, sondern auch Muster: Fallen in einer bestimmten Sprachversion gehäuft Probleme auf? Welche Seiten (Startseite, Produktseiten, Blog) zeigen die meisten Fehler? Eine Kategorisierung nach Fehlertyp (technisch, inhaltlich, konfigurativ) erleichtert die spätere Priorisierung. Verwenden Sie für die Protokollierung konsistente Benennungen – etwa „hreflang-Zielsprache falsch“ oder „Meta-Title fehlt“. Verknüpfen Sie die Fehler mit den entsprechenden Test-URLs und, falls vorhanden, mit den IDs aus Ihrem Crawling-Tool.

Ein bewährtes Vorgehen ist die Erstellung eines wöchentlichen oder monatlichen Audit-Reports, der die Entwicklung der Fehlerzahlen zeigt. So erkennen Sie, ob Ihre Optimierungen greifen. Nutzen Sie dazu die Exportfunktionen von Crawling-Tools wie Screaming Frog oder Sitebulb, die CSV-Dateien mit allen gefundenen Fehlern bereitstellen. Kombinieren Sie diese mit den Performance-Messungen zu einem Gesamtbericht. Achten Sie darauf, die Ergebnisse nach Markt (Sprachversion) zu sortieren, damit Sie schnell erkennen, welche Länder besonders betroffen sind.

Empfehlung: Führen Sie eine klare Kennzeichnung ein, ob ein Fehler automatisch (durch Tool) oder manuell (durch Redakteur) behoben werden kann. Hinterlegen Sie kurze Lösungsbeschreibungen direkt im Protokoll. Planen Sie regelmäßige Review-Meetings, in denen das Team die offenen Punkte bespricht. Eine saubere Dokumentation ist die Grundlage für eine effiziente Fehlerbehebung und vermeidet, dass Probleme mehrfach bearbeitet werden.

Priorisierung von Fehlerbehebungen nach Marktbedeutung und Einfluss

Nicht jeder Fehler hat die gleiche Auswirkung auf Ihre mehrsprachige Website. Sie müssen Fehlerbehebungen nach der Bedeutung des Marktes und dem potenziellen Einfluss auf die Nutzererfahrung priorisieren. Definieren Sie zunächst die Marktbedeutung Ihrer 24 EU-Sprachversionen: Umsatzstärkere Länder oder strategisch wichtige Märkte erhalten höhere Priorität. Erstellen Sie eine Rangliste der Sprachen nach Traffic, Conversions oder Umsatz. Fehler in diesen Märkten sollten Sie schneller beheben als in kleineren oder weniger umsatzstarken Varianten.

Bewerten Sie den Einfluss eines Fehlers: Verhindert er, dass Suchmaschinen die Seite indexieren (z. B. falsches hreflang oder fehlerhafte Sitemap)? Führt er zu einer schlechten Nutzererfahrung (z. B. defekter Link, sehr langsame Ladezeit)? Oder beeinträchtigt er die inhaltliche Qualität (z. B. fehlender Title-Tag)? Fehler mit hohem Einfluss auf die Auffindbarkeit (Crawl-Budget, Indexierung) sollten Sie sofort beheben, ebenso solche mit direktem negativem Effekt auf Conversion-relevante Seiten wie den Checkout.

Nutzen Sie eine einfache Matrix, um Fehler zu priorisieren: Achse X = Marktbedeutung (niedrig bis hoch), Achse Y = Fehlereinfluss (niedrig bis hoch). Fehler im Quadranten „hoch/hoch“ haben die höchste Dringlichkeit. Praktisch vorgehen: Sortieren Sie Ihr Fehlerprotokoll nach diesen beiden Kriterien und weisen Sie jedem Fehler eine Prioritätsstufe (1 = sofort, 2 = nächste Woche, 3 = nächster Monat) zu. Besprechen Sie die Priorisierung mit dem Team, um sicherzustellen, dass alle Beteiligten die gleiche Gewichtung anwenden.

Empfehlung: Hinterlegen Sie zu jedem Fehler den erwarteten Aufwand (in Stunden) und rechnen Sie den Aufwand gegen den Nutzen. Fehler, die schnell zu beheben sind und gleichzeitig einen großen Einfluss haben, erledigen Sie am besten sofort. Bei umfangreichen technischen Problemen (etwa einem falschen hreflang-Setup für alle Sprachen) sollten Sie eine Projektplanung mit Meilensteinen erstellen. Kontrollieren Sie nach der Behebung die Ergebnisse durch einen erneuten Crawl. Eine konsequente Priorisierung stellt sicher, dass Ihre Ressourcen optimal eingesetzt werden und die wichtigsten Märkte zuerst profitieren.

Regelmäßige Crawling-Routinen: Intervalle und Automatisierungsoptionen

Ein einmaliges Audit genügt nicht, um 24 Sprachversionen dauerhaft fehlerfrei zu halten. Inhalte ändern sich, neue Seiten kommen hinzu, und technische Konfigurationen können unbeabsichtigt verändert werden. Deshalb empfiehlt es sich, wiederkehrende Crawling-Routinen zu etablieren. Die Intervalle richten sich nach der Aktualisierungsfrequenz Ihrer Website und der Marktdynamik. Für statische Seiten mit seltenen Änderungen mag ein monatlicher Crawl ausreichen. Bei täglich neuen Inhalten, etwa in Onlineshops oder News-Portalen, ist ein wöchentlicher oder sogar täglicher Lauf sinnvoll.

Für die Automatisierung bieten Crawling-Tools wie Screaming Frog, Sitebulb oder DeepCrawl APIs und CLI-Schnittstellen an. Sie können den Crawl per Cron-Job auf Ihrem Server oder über CI/CD-Pipelines triggern. Ein praktisches Setup: Exportieren Sie die Crawl-Konfiguration als Projektdatei, erstellen Sie ein Shell-Skript, das das Tool aufruft, und binden Sie es in Ihren Scheduler ein. Achten Sie darauf, dass die Ausgabe – idealerweise als CSV- oder JSON-Report – automatisch an ein zentrales Dashboard oder ein Issue-Tracking-System wie Jira übergeben wird. So bleiben alle Beteiligten ohne manuellen Aufwand informiert.

Ein zentraler Punkt: Passen Sie die Crawl-Einstellungen für mehrsprachige Audits an. Jeder Sprachcrawl sollte nur die zugehörigen URLs scannen, um die Laufzeit zu verkürzen. Bei Tools, die die gesamte Domain crawlen, filtern Sie nach Pfad oder Unterverzeichnis. Nutzen Sie reguläre Ausdrücke, um nicht relevante Bereiche auszuschließen (z. B. '/en/', '/fr/' etc.). Wenn Ihre Website Sprachvarienten über Subdomains ausliefert, müssen Sie separate Crawls für jede Subdomain konfigurieren und die Ergebnisse später zusammenführen. Das erfordert etwas Vorarbeit, verhindert aber, dass Sie Seiten der falschen Sprache auf Ihre Liste setzen.

Prüfen Sie regelmäßig, ob Ihr Crawling-Tool die aktuellen hreflang-Regeln korrekt interpretiert. Dazu empfiehlt sich ein monatlicher Vergleich der hreflang-Referenzen mit Ihrer Sitemap. Automatisieren Sie auch die Validierung: Ein Skript kann prüfen, ob jede Sprachversion eine Rückverlinkung in der Gegenrichtung enthält. So vermeiden Sie Inkonsistenzen. Dokumentieren Sie Ihre Routine in einem internen Wiki, damit Kollegen bei Ausfällen nachvollziehen können, was zu tun ist. In der Praxis hat sich bewährt, einmal pro Quartal ein vollständiges manuelles Audit durchzuführen und die Ergebnisse mit den automatisch generierten Berichten abzugleichen – das schließt zeitliche Verzögerungen aus.

Rechtlicher Hinweis: Die hier beschriebenen Intervalle und Automatisierungsoptionen stellen lediglich eine allgemeine Orientierung dar. Die konkrete Ausgestaltung sollte stets in Abstimmung mit Ihrer Rechtsabteilung erfolgen, insbesondere wenn personenbezogene Daten beim Crawling verarbeitet werden.

Checkliste für den Abschluss: Vollständiger Audit-Bericht und nächste Schritte

Ein gründlicher Audit-Bericht fasst alle Ergebnisse übersichtlich zusammen und dient als Grundlage für die Priorisierung von Korrekturen. Die folgende Checkliste hilft Ihnen, keinen Punkt zu übersehen:

• Alle 24 Sprachversionen sind vollständig gecrawlt – einschließlich aller Unterseiten, die in der Sitemap gelistet sind. • hreflang-Tags sind auf jeder Seite vorhanden und verweisen konsistent auf alle Sprachvarianten (einschließlich x-default). • Die XML-Sitemaps enthalten alle relevanten URLs, sind sprachspezifisch korrekt verknüpft und werden von den Suchmaschinen indexiert. • Keine Seite liefert einen 404-Fehler oder führt über eine Weiterleitungskette – insbesondere nach Sprachwechsel. • Meta-Tags (Title, Description) und Sprachdeklarationen (lang-Attribut) stimmen überein. • Keine signifikanten Content-Duplikate zwischen Sprachversionen – kanonische URLs sind sauber gesetzt. • Ladezeiten liegen unter 2 Sekunden für jede Sprachversion (gemessen mit Crawling-Tool oder externen Diensten wie PageSpeed Insights). • Alle Fehler sind kategorisiert nach Schweregrad: kritisch (fehlerhaftes hreflang, 404er), mittel (fehlende Titel, Weiterleitungen) und gering (kosmetische Meta-Fehler).

Erstellen Sie nach dem Audit ein zentrales Issue-Tracking-Dokument – zum Beispiel als geteilte Tabelle (Google Sheets, Airtable) – und ordnen Sie jeden Fehler einem Verantwortlichen zu. Notieren Sie geschätzten Aufwand und Deadline. Ein Beispiel: "hreflang-Zirkelverweis auf /de/produkt und /en/product: Max Müller, Aufwand 2 h, bis 15.03.". Verknüpfen Sie die Tabelle mit Ihrem Projektmanagement-Tool, um den Fortschritt zu verfolgen.

Die nächsten Schritte sollten priorisiert werden – nach Marktbedeutung und technischem Einfluss. Beginnen Sie mit Fehlern, die Suchmaschinen daran hindern, Ihre Inhalte korrekt zu indexieren (z. B. fehlerhafte hreflang). Danach beheben Sie technische Probleme, die die Nutzererfahrung beeinträchtigen (kaputte Links, langsame Seiten). Die niedrigste Priorität haben Optimierungen der Metadaten. Planen Sie nach Abschluss aller Korrekturen einen erneuten Crawl ein, um die Wirksamkeit zu überprüfen. Stellen Sie sicher, dass alle Team-Mitglieder die Ergebnisse verstehen und die nächsten Schritte klar kommuniziert sind.

Abschließend: Halten Sie den Audit-Bericht als Referenz für das nächste Quartal bereit. Vergleichen Sie die Fehlerraten im Zeitverlauf, um Trends zu erkennen. In der Praxis zeigt sich, dass wiederholte Audits die Fehlerzahl sukzessive senken – vorausgesetzt, die Ursachen werden nicht nur oberflächlich behoben. Ein gutes Tracking-System hilft, wiederkehrende Probleme zu identifizieren. Denken Sie daran: Der Bericht ist kein Selbstzweck, sondern Werkzeug für kontinuierliche Verbesserung.

Rechtlicher Hinweis: Die Priorisierungsvorschläge ersetzen keine rechtliche Beratung. Bei Fragen zu Compliance (z. B. DSGVO, Impressumspflichten) konsultieren Sie Ihre Rechtsabteilung.

Fallstricke und häufige Irrtümer bei mehrsprachigen Crawling-Audits

Selbst erfahrene Teams übersehen bei Audits mehrsprachiger Websites typische Fehlerquellen. Ein Beispiel: hreflang-Tags mit x-default korrekt gesetzt, aber die referenzierte URL verwendet eine andere Domain oder ein falsches Protokoll (HTTP vs. HTTPS). Der Crawler zeigt keine Warnung an, weil das Tag syntaktisch korrekt ist – die Verweisziele existieren jedoch nicht. Prüfen Sie daher immer die Auflösung jeder hreflang-URL. Ein weiterer Fallstrick: Sprachvarianten einer Seite liegen auf unterschiedlichen Subdomains, und die Sitemap enthält nur eine davon. Der Crawler findet die anderen nicht, weil keine interne Verlinkung existiert. Lösen Sie dieses Problem, indem Sie alle Varianten explizit in die Sitemap aufnehmen und sicherstellen, dass jede Sprachversion von mindestens einer anderen Seite verlinkt wird. Auch Weiterleitungsfehler sind tückisch: Ein Redirect von /de/artikel auf /de-seite?lang=de führt zu einer Umleitungskette, die hreflang-Signale zerstört. Crawln Sie Ihre Start-URLs mit aktiviertem Redirect-Tracking und prüfen Sie, ob jede Sprachversion direkt ausgeliefert wird. Ein häufiger Irrtum betrifft die kanonische URL: Bei identischem Content in verschiedenen Sprachen setzen manche ein und dieselbe kanonische URL für alle Varianten. Das widerspricht dem Sinn von Sprachalternativen. Jede Sprachvariante sollte auf sich selbst verweisen, es sei denn, es liegt ein echtes Duplikat vor (z. B. DE und AT bei gleichem Inhalt). Beachten Sie außerdem, dass Google die Sprache einer Seite nicht nur aus hreflang, sondern auch aus dem Content erkennt. Ein Crawler, der nur HTML-Struktur prüft, zeigt hier keine Fehler an. Integrieren Sie daher einen Sprachdetektor für den Textkörper, um falsche Sprachdeklarationen aufzudecken. Vermeiden Sie Fallstricke wie fehlende Sprachcodes in der URL-Struktur (z. B. nur Parameter), da diese von Crawlern oft ignoriert werden. Dokumentieren Sie jede gefundene Anomalie mit Screenshot und Quelltext-Auszug, um Fehlinterpretationen im Team zu verhindern.

Praxisbeispiel: Schritt-für-Schritt-Audit einer mehrsprachigen Website mit 24 Märkten

Nehmen wir eine fiktive Website, die in 24 EU-Sprachen angeboten wird, mit URL-Struktur example.com/{sprachcode}/ (z. B. /de/, /fr/). Schritt 1: Sammeln Sie alle Sprachvarianten der Startseite und prüfen Sie, ob jede einen hreflang-Tag mit 24 Alternativen plus x-default enthält. Crawlen Sie dazu jede Start-URL manuell mit einem Tool wie Screaming Frog und extrahieren Sie die hreflang-Tags. Schritt 2: Validieren Sie die Sitemap. Oft fehlen einzelne Sprachvarianten oder sind falsch zugeordnet. Excel-Export der Sitemap-URLs mit Sprachcode-Aufteilung hilft, Lücken zu finden. Schritt 3: Führen Sie einen Voll-Crawl aller 24 Start-URLs durch (Limit: 10.000 URLs). Achten Sie darauf, dass der Crawler jede Sprachversion als eigenständigen Host oder zumindest Pfad behandelt. Notieren Sie alle 4xx- und 5xx-Fehler sowie Weiterleitungsketten. Schritt 4: Analysieren Sie die internen Links: Verlinkt die deutsche Startseite auf die französische? Fehlt der Link, entdeckt Google die französische Seite möglicherweise nicht, selbst wenn die Sitemap korrekt ist. Ein Tool wie DeepCrawl oder die Linkanalyse von Sitebulb zeigt solche Lücken. Schritt 5: Prüfen Sie kanonische URLs. Rufen Sie jede Sprachversion auf und sehen Sie im Quelltext nach, ob die kanonische URL auf die eigene Version verweist. Schritt 6: Messen Sie die Ladezeit jeder Sprache mit einem Headless-Browser. Unterschiede über 2 Sekunden weisen auf ineffiziente Ressourcen pro Markt hin. Schritt 7: Erstellen Sie einen Fehlerbericht nach Priorität: Hohe Priorität (z. B. falsches hreflang, fehlende Sprachversionen), mittlere (z. B. Weiterleitungskette, fehlende interne Links), niedrige (z. B. Performance-Optimierung). Im konkreten Fall fanden wir bei der spanischen Version einen hreflang-Typo: 'es-ES' statt 'es'. Solche Tippfehler werden oft übersehen, da der Crawler das Tag syntaktisch akzeptiert. Dokumentieren Sie jeden Fehler mit genauer URL und empfohlener Korrektur. Nach der Behebung wiederholen Sie das Audit, um die Korrektheit zu bestätigen. Regelmäßige monatliche Crawls verhindern, dass neue Fehler unbemerkt bleiben.