Problemlösung: Desktop-Seite kann aufgrund von robots.txt nicht gecrawlt werden - Google Merchant Center-Hilfe [gg-merchants-de]

Problemlösung: Desktop-Seite kann aufgrund von robots.txt nicht gecrawlt werden

Aktualisieren Sie Ihre robots.txt-Datei, damit die User-Agents „Googlebot" und „Googlebot-Image" Ihre Website crawlen können

Einige Ihrer Produkte geben eine Zielseite (über das Attribut link [link] ) an, die von Google nicht gecrawlt werden kann, da robots.txt dem Crawler von Google verbietet, die Zielseite herunterzuladen. Diese Produkte bleiben abgelehnt und erscheinen nicht mehr in Ihren Shopping-Anzeigen und kostenlosen Produkteinträgen, bis wir die Landingpage crawlen können.

Aktualisieren Sie die robots.txt-Datei auf Ihrem Webserver, damit der Crawler von Google die bereitgestellten Zielseiten abrufen kann. Die robots.txt-Datei befindet sich normalerweise im Stammverzeichnis des Webservers (z. B. http://www.example.com/robots.txt).

Damit wir auf Ihre gesamte Website zugreifen können, stellen Sie sicher, dass Ihre robots.txt-Datei den beiden User-Agents „Googlebot" (verwendet für Landingpages) und „Googlebot-image" (verwendet für Bilder) das Crawlen Ihrer gesamten Website ermöglicht .

Sie können ein vollständiges Website-Crawling zulassen, indem Sie Ihre robots.txt-Datei wie folgt ändern:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-image
Disallow:

Hier erfahren Sie mehr darüber, wie Sie robots.txt konfigurieren. Sie können Ihre aktuelle Konfiguration mit dem URL-Inspektionstool testen.

Wenn Sie diese Probleme behoben und Ihre Produkte über einen neuen Feed-Upload oder die Content API aktualisiert haben, sollten die hier angezeigten Fehler innerhalb weniger Tage verschwinden. In dieser Zeit können wir überprüfen, ob wir die bereitgestellten Zielseiten crawlen können. Danach werden die Produkte wieder in Ihren Shopping-Anzeigen und -Einträgen angezeigt. Wenn Sie den Vorgang beschleunigen möchten, können Sie die Crawling-Rate von Google erhöhen .