Mit den Google Webmaster Tools kann man sehr gut überprüfen ob aktuell noch Fehler auf der Seite vorliegen. Das Problem ist, dass man die HTTP-Codes der Seite optimieren muss um die Auswertung zu verstehen. Wo kein Inhalt mehr ist, sollte auch ein entsprechender Code an Google geliefert werden.
Nun nutze ich aber mod_rewrite um html-adressen zu nutzen. Diese sehen zwar statisch aus, werden aber von dem Apache-Modul mod_rewrite zerlegt und als Parameter an die index.php übergeben. Nun entscheide ich natürlich in der Seitenlogik, ob der Inhalt gefunden wurde oder nicht – im Fehlerfall wurde bisher zwar eine Meldung ausgegeben, aber der HTTP-Code wurde nicht geändert (es wurde weiterhin 200 OK zurückgeliefert). Das habe ich nun geändert um alte URLs vom Index zu werfen. Würde man das nicht tun, kann Google nicht entscheiden welche Seiten es noch gibt und welche nicht.
Google kann das zwar auch anhand der automatisch generierten Sitemap teilweise entscheiden, aber das ist weniger zuverlässig. Mit den HTTP-Codes schließt sich der Kreis.
So zeigen mir die Webmaster-Tools aktuell, dass keine Crawling-Fehler vorliegen (abgesehen von ein paar gewollten Soft-404 Fehlern). Dabei wird zwar 404 zurückgegeben, aber dennoch eine „schöne“ Seite drumherum aufgebaut. Die machen sich natürlich erst seit der Änderung bemerkbar.
Außerdem sehe ich die häufigsten Suchbegriffe und wieviele Nutzer nach einer Impression auf meine Seite gekommen sind. Genauere Infos liefert natürlich Google Analytics oder Piwik.