Back to Question Center
0

Semalt Islamabad Expert: Top 10 Populär Web Crawlers An Botten

1 answers:

Et gi zwee Typen vu Botter am Internet, déi als gudde Botzen a schlecht Bots genannt ginn. Dir sollt e seriéisen Moossnahmen géint déi béis Botzen huelen wéi se d'DDN Bandbreedung kéng verbrauchen. Ausserdeem hunn déi negativ oder schlecht Bots Ären Webinhalt geklaut an d'Server Ressourcen huelen. Am anere Fall, de gudden Botter (och als Web Crawler genannt) solle suergfälscht behandelt ginn, sou datt se Är Websäit an der Suchmaschinn erreechen (zB Bing, Google, an Yahoo).

De Michael Brown, e führende Experte vu Semalt , assuréiert datt et Honnerte vu Tausende vu Bots oder Web Crawler, déi d'Internet schafen, mee déi folgend populär sinn.

1. GoogleBot

De Googlebot ass ee vun de beschten a bekanntesten Web-Crawler. Et gëtt allgemeng benotzt fir den Index an den Artikelen fir d'Recherche vu Google ze indexéieren. Déi beschte Feature vum Googlebot ass datt et de Benotzer mat vill Tools an Optiounen gëtt. Gitt méi spezifesch de Googlebot fir Google, wou Säiten indirekt sinn a wéi eng sollen hin sinn.

2. Bingbot

Just wéi Googlebot, ass de Bingbot e populäite Web Crawler vun Microsoft. Et ass ongeféier ongeféier Joer a gëtt fir Indexéiere Websäiten an de Bing Sichresultater z'änneren. Bingbot ass e perfekte Ersatz fir de MSN Bot. Déi gréissten Optioun gëtt als Fetch als Bingbot genannt, wat an de Bing Webmaster Tools ass. Dës Optioun luedt Iech Ufro fir ze indexéieren an an de Bing Resultater ze weisen.

3. Slurp Bot

De Slurp Bot ass Yahoo Crawler, awer vu Bing. Websiten sollen Yahoo Slurp fir hir Säiten ze schécken fir se an den Resultater vun Yahoo Mobile Sich z'erreechen. Dëse Web-Crawler benotzt fir Inhalter vun de Partner-Websäiten fir Inklusioun op Yahoo News, Yahoo Sports an Yahoo Finance ze sammelen.

4. DuckDuckBot

D'DuckDuckBot ass de bekannteste a bescht Webrainer vu DuckDuckGo. Dës Suchmaschinn ass bekannt fir seng Privatsphär a verfolgt net de Benotzer ouni seng Erlaabnis. Duerchschnëttlech kaaft et zéng Milliounen Ufroen all Dag.DuckDuckGo kritt déi Resultater aus méi wéi 400 Quellen, dorënner e puer vertikal Quellen, déi Äntwerten enthalen iwwer Instant Äntwerten, Wikipedia an DuckDuckBot. Et handelt och Queries déi aus Quellen wéi Yandex, Bing an Yahoo kommen.

5. Baiduspider

De Baiduspider ass en offizielle Numm vun enger Websäit Crawler oder Spider. Et kann all Dag all Webseiten indexéieren an d'Aktualiséiere vum Baidu Index zréck. De Baidu ass ee vun deene wichtegste chinesesche Sichmaschinn. Et huet méi wéi 80% Aktien vun den gesamt Searchmär vum China Mainland.

6. Yandex Bot

De YandexBot ass e speziellen Webrainer vun enger russescher Suchmaschine, Yandex. Media-Outletë behaapten, datt dëse Bot am Joer 2015 iwwer 57% vun alle Sichmotorverkéier an Russland generéiert huet.

7. Sogou Spider

De Sogou Spider ass e bekannt Web-Crawler vu Sogou.com. Déi haaptsächlech Chinesesch Sichmaschinn war 2004 gestart an huet eng Rang vun 103 on Alexa. Dir sollt u sech Gedanken doriwwer datt d'Sogou Webs Spider net respektéiert de Robot.txt Internetsstandarden a verbuede vu verschiddene Site wéinst sengem exzessive Kriibs.

8. Exotesch

Dëse Webrainer gëtt vun Exalead, eng franséisch Suchmaschin operéiert. Et gouf e puer Joer gegrënnt a hat méi wéi sechs Milliarde Websäiten an hirem Sichresultater indexéiert.

9. Facebook External Hit

De sozialen Medien Riese, Facebook, liwwert seng Benotzer interessant Links mat anere Facebook-Benotzer. De Facebook External Hit féiert eng Rei verschidde Funktiounen, ënnert anerem dem Display vun verschiddene Biller, e puer spannende Videoen an e puer Websäiten. Ee vun den haitegsten an berühmt kreien Iwwerraschungen ass Facebot deen hëlleft d'Reklammervoritéit ze verbesseren.

10. Alexa Crawler

Alexa Crawler gëtt vum Alexa's Alexa Alexa a benotzt fir Danzende vu Websäiten ze indizéieren. Et sammelt Informatioun iwwer d'Websäiten an laacht se op lokalen an internationalen Viraussetzungen.

Schlussendlehle

Et gi verschidde Web-Crawler a Botten, also wann Dir eng verdächteg Websäit blockéiert, vergewëssert Iech datt Dir déi gutt Bots net blockéiert, déi Är Websäiten an den Suchmascheng Resultater indexéieren.

November 29, 2017
Semalt Islamabad Expert: Top 10 Populär Web Crawlers An Botten
Reply