Hinweise für Seitenbetreiber

Wir betreiben einen Bot, der automatisiert Webseiten von Online Shops abruft und anhand dieser Daten die Suchergebnisse erstellt. Der Bot ist dabei auf die korrekte Angabe von Metadaten sowie eine sinnvolle semantische Struktur des HTML-Markups angewiesen. Besonders relevant sind die Angaben von schema.org/Product, schema.org/Breadcrumb und schema.org/LocalBusiness sowie die Untertypen.

Die Indizierung von Inhalten und Anzeige von Suchergebnissen ist grundsätzlich kostenfrei.

Bei fehlerhaften Daten in den Suchergebnissen informieren Sie uns bitte, falls sich das Problem nicht durch eine Anpassung der Metadaten lösen lässt. Bitte beachten Sie dabei aber, dass es eine Weile dauern kann, bis unser Bot Aktualisierungen in den Metadaten erfasst.

Verhalten des Bots

• Wir versuchen, die durch das Kraulen entstehende Serverbelastung zu minimieren durch Pausen zwischen den Anfragen.
• Bei Metadaten wird das Format JSON+LD gegenüber Microdata bevorzugt, weil bei ersterem Format die Qualität meist besser ist. Auch andere Metadaten (z. B. OpenGraph) und bloßes HTML werden notfalls ausgewertet.
• Der Bot akzeptiert keine Cookies. URLs mit Sitzungsnummern (SessID, jsessionid, force_sid, usw.) werden nicht gekrault.
• robots.txt wird teilweise unterstützt. Die Direktiven user-agent und crawl-delay werden ignoriert, ein pauschales Disallow aller Unterseiten wird nicht befolgt. Der Bot befolgt meta robots (HTML) sowie x-robots-tag (HTTP-Header).
• Die Unterstützung von Sitemaps ist geplant. Der Bot liest die Sitemap-Direktiven in robots.txt aus, ansonsten versucht er die Datei sitemap.xml anzurufen. Mit Sitemaps kann die Priorität festgelegt werden, mit der die Unterseiten gekrault werden und mittels der Datumsangabe kann der Bot über Aktualisierungen von Unterseiten informiert werden.
• Die Angabe von meta keywords auf der Wurzelseite ist von Relevanz. Es wird nur eine begrenzte Anzahl von Schlüsselwörtern unterstützt (maximal vier), daher ergibt keyword stuffing keinen Sinn. Empfehlenswert ist hier die Angabe von Obergriffen, die in den Produkt- und Kategorienamen des Online Shops nicht auftreten.
• Der Bot versucht, jeder Unterseite eine Überschrift zuzuordnen. Dabei dienen Menüs, Linktexte, Breadcrumbs sowie h1-Tags als Indikatoren. Insbesondere wird empfohlen, genau ein h1-Tag pro Unterseite zu verwenden.
• Es ist sehr wichtig, die HTTP-Statuscodes 404 (alternativ: 410, 403) für nicht vorhandene Seiten anzugeben. Ansonsten ist es schwieriger für den Bot zu erkennen, dass diese Seiten nicht mehr vorhanden sind.