Crawling & Indexierung
Die zwei Vor-Stufen jedes Rankings: Suchmaschinen entdecken (crawlen) Seiten und entscheiden, ob sie aufgenommen (indexiert) werden.
Crawling ist der Prozess, mit dem Suchmaschinen-Bots URLs entdecken und Inhalte abrufen. Indexierung ist der nachgelagerte Schritt, in dem Suchmaschinen entscheiden, welche dieser URLs in den durchsuchbaren Index aufgenommen werden. Beide Stufen sind Voraussetzung dafür, dass eine Seite überhaupt ranken kann — sie passieren noch vor jeder Ranking-Bewertung.
Indexierungs-Probleme sind die häufigste unsichtbare Ursache schwacher SEO-Performance im Mittelstand. Eine Seite, die nicht im Index ist, kann nicht ranken — egal wie gut ihr Content ist. Im Gegensatz zu Ranking-Schwächen sind Crawl- und Indexierungs-Probleme strukturell und meist innerhalb weniger Wochen behebbar.
Die Reihenfolge: Discover → Crawl → Render → Index → Rank
- Discover: Google erfährt von einer URL — über interne Links, Sitemaps, externe Verweise.
- Crawl: Googlebot ruft die URL ab und bewertet Statuscode, Robots-Direktiven, Headers.
- Render: Die Seite wird gerendert (JavaScript ausgeführt) — entscheidend für SPAs.
- Index: Google entscheidet, ob die Seite aufgenommen wird. Duplicate Content, Thin Content oder Noindex-Direktiven verhindern das.
- Rank: Erst jetzt findet die eigentliche Ranking-Bewertung statt.
Häufigste Indexierungs-Probleme
- Falsche Canonicals: Seite verweist auf eine andere als kanonische Version — eigene URL wird ausgeschlossen.
- Noindex versehentlich aktiv: Aus Staging übernommen oder durch CMS-Defaults gesetzt.
- JavaScript-Rendering ohne SSR: Googlebot sieht leere Seiten, weil JS nicht oder unzureichend ausgeführt wird.
- Duplicate Content: Parametrisierte URLs, Pagination oder identische Produkt-Varianten ohne Canonicals.
- Thin Content: Seiten unter ~300 Wörtern ohne erkennbaren Mehrwert werden indexierungs-skeptisch behandelt.
Wie sich Indexierungs-Status prüfen lässt
- Google Search Console — Seitenbericht: Zeigt indexiert, ausgeschlossen, Fehler — die zentrale Datenquelle.
- URL-Prüfung in der Search Console: Einzeldiagnose pro URL inklusive Render-Vorschau.
- site:-Suche: Schnellcheck, ob bestimmte URL-Muster im Index sind.
- Logfile-Analyse: Zeigt, welche URLs Googlebot tatsächlich crawlt und wie häufig.
Crawl-Budget — relevant ab welcher Größe?
Crawl-Budget wird im Mittelstand oft überbewertet. Für Domains unter ~10.000 URLs ist es selten ein limitierender Faktor. Wichtiger als die Crawl-Frequenz ist die Crawl-Effizienz: Werden die richtigen Seiten gecrawlt? Werden Ressourcen nicht durch parametrisierte URLs, Filter-Kombinationen oder veraltete Sitemap-Einträge verschwendet? Saubere technisches SEO-Hygiene löst die meisten Crawl-Probleme automatisch.
Warum wird meine Seite nicht indexiert?
Die häufigsten Gründe: Noindex-Direktive aktiv, falsche Canonical-Angabe, Duplicate Content, Thin Content, Rendering-Probleme bei JavaScript-Frameworks oder schlicht zu wenig interne und externe Verlinkung, sodass Google die URL nicht als wichtig genug einstuft.
Wie lange dauert die Indexierung neuer Seiten?
Bei etablierten Domains in der Regel Stunden bis wenige Tage. Bei jungen Domains oder schwacher interner Verlinkung Wochen. Über die Google Search Console lässt sich eine URL manuell zur Indexierung anstoßen — keine Garantie, aber häufig wirksam.
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist das Abrufen einer URL durch den Bot. Indexierung ist die nachgelagerte Entscheidung, ob die Seite in den durchsuchbaren Index aufgenommen wird. Eine Seite kann gecrawlt, aber nicht indexiert sein — der häufigste Befund in der Search Console.
Brauche ich eine XML-Sitemap?
Ja. Eine aktuelle, korrekte Sitemap beschleunigt das Discovery neuer URLs und gibt Google ein klares Bild der gewollten Index-Struktur. Veraltete Sitemaps mit Weiterleitungs- oder 404-URLs schaden allerdings — Sitemap-Pflege gehört zum technischen SEO-Standard.
In der Wachstumsanalyse zeigen wir, was er für Ihr Unternehmen bedeutet.