Definition von Web Spidering und Web Crawler

Spiders sind Programme (oder automatisierte Skripte), die im Internet nach Daten suchen. Spiders reisen über Website-URLs und können Daten von Webseiten wie E-Mail-Adressen abrufen. Spinnen werden auch verwendet, um Informationen, die auf Websites gefunden werden, an Suchmaschinen zu liefern.

Spinnen, die auch als "Webcrawler" bezeichnet werden, durchsuchen das Internet und nicht alle sind freundlich in ihrer Absicht.

Spammers Spider Websites zum Sammeln von Informationen

Google, Yahoo!

und andere Suchmaschinen sind nicht die einzigen, die daran interessiert sind, Websites zu crawlen - also Betrüger und Spammer.

Spider und andere automatisierte Tools werden von Spammern verwendet, um auf Websites E-Mail-Adressen zu finden (im Internet wird diese Methode häufig als "Ernten" bezeichnet) und um daraus Spam-Listen zu erstellen.

Spider sind auch ein Tool, das von Suchmaschinen verwendet wird, um mehr Informationen über Ihre Website zu erhalten, aber unkontrolliert. Eine Website ohne Anweisungen (oder "Berechtigungen") zum Crawlen Ihrer Website kann Informationssicherheitsrisiken. Spinnen reisen über Links und sind sehr geschickt darin, Links zu Datenbanken, Programmdateien und anderen Informationen zu finden, auf die Sie keinen Zugriff haben sollten.

Webmaster können Protokolle anzeigen, um zu sehen, welche Spider und andere Robots ihre Sites besucht haben. Diese Informationen helfen Webmastern zu wissen, wer ihre Website indiziert und wie oft.

Diese Information ist nützlich, weil es Webmastern erlaubt, ihren SEO- und Update-Roboter feinabzustimmen. txt-Dateien, um zu verhindern, dass bestimmte Robots ihre Website in Zukunft crawlen.

Tipps zum Schutz Ihrer Website vor unerwünschten Robot Crawlern

Es gibt eine recht einfache Möglichkeit, unerwünschte Crawler von Ihrer Website fernzuhalten. Selbst wenn Sie sich keine Gedanken über bösartige Spinnen machen, die Ihre Website crawlen (die Verschleierung der E-Mail-Adresse schützt Sie nicht vor den meisten Crawlern), sollten Sie den Suchmaschinen dennoch wichtige Anweisungen geben.

Alle Websites sollten eine Datei haben, die sich im Stammverzeichnis befindet und als Roboter bezeichnet wird. txt-Datei. Mit dieser Datei können Sie Webcrawler anweisen, wo sie nach Indexseiten suchen sollen (sofern in den Metadaten einer bestimmten Seite nichts anderes angegeben ist, damit sie nicht indiziert werden), wenn es sich um eine Suchmaschine handelt.

Genau wie Sie den gewünschten Crawlern mitteilen können, wo Sie sie durchsuchen möchten, können Sie ihnen auch mitteilen, wohin sie möglicherweise nicht gehen, und sogar bestimmte Crawler von Ihrer gesamten Website blockieren.

Es ist wichtig zu bedenken, dass ein gut zusammengestellter Roboter. Txt-Datei wird enormen Wert für Suchmaschinen haben und könnte sogar ein Schlüsselelement bei der Verbesserung der Leistung Ihrer Website sein, aber einige Roboter-Crawler ignorieren immer noch Ihre Anweisungen. Aus diesem Grund ist es wichtig, dass Sie all Ihre Software, Plugins und Apps immer auf dem neuesten Stand halten.

Verwandte Artikel und Informationen

Aufgrund der Verbreitung von Informationen, die zu schändlichen Zwecken (Spam) verwendet werden, wurden im Jahr 2003 Rechtsvorschriften erlassen, um bestimmte Praktiken rechtswidrig zu machen. Diese Verbraucherschutzgesetze fallen unter das CAN-SPAM-Gesetz von 2003.

Es ist wichtig, dass Sie sich die Zeit nehmen, sich über das CAN-SPAM-Gesetz zu informieren, wenn Ihr Unternehmen Massensendungen oder Informationsbeschaffung betreibt.

Weitere Informationen zu Anti-Spam-Gesetzen und zum Umgang mit Spammern und zu dem, was Sie als Unternehmer nicht tun können, finden Sie in den folgenden Artikeln:

• CAN-SPAM Act 2003
• CAN- SPAM Act Regeln für gemeinnützige Organisationen
• 5 CAN-SPAM-Regeln Kleinunternehmer müssen verstehen