Poměrně častým dotazem v různých diskusích a konferencích je „Za jak dlouho můj nový web zaindexuje Google (Seznam), kdy se dostanu do výsledků vyhledávání?“. Šance na poměrně exaktní změření a nalezení odpovědi se mi naskytla při příležitosti spuštění našeho nového projektu Podnikatel.cz. Ten neměl žádné zpětné odkazy, do spuštění testu byl za heslem a nikdo o něm nevěděl (v okamžiku spuštění mého malého testu ho nepodporovaly ani ostatní naše weby, od pondělí 20. 8. se už odkazy na Podnikatele objevily na našich ostatních serverech).
Jak jsem testoval
Jednoduše. V okamžiku odheslování webu (16. 8. 2007 v 14:45 hod.) jsem adresu www.podnikatel.cz přidal přes standardní rozhraní pro přidávání nových webů na Google, Seznam a Jyxo. A pak už nezbývalo než čekat, co se bude dít.
A nejrychlejším robotem se stává …
Seznam
První se doslova přihnal Seznam a to jeho „Seznam Screen-Shot Generator“ (14:45:15), který pořídil obrázek titulky. Hned vzápětí dorazil i klasický Seznambot (14:45:39). Ten se se mrkl na robots.txt a spokojeně odešel.
Vrátil se pak o den později a mezi 02:19:31 a 02:29:01 stáhl 22 různých stránek. A přesně těchto 22 stránek se o další den později, tj. 18. 8., objevilo ve výsledcích vyhledávání (konkrétně okolo 03:30 hod.) Seznam tak v rychlosti indexace porazil zbylé dva soupeře na hlavu – zatímco oni ještě své roboty ani neposlali na obhlídku, Seznam už zobrazoval nový server ve výsledcích vyhledávání.
Ti další
Yahoo!
Jako druhý se dostavil robot Yahoo, kterého jsem ani „nezval“ a nevím, kde na adresu přišel. Okolo ale brousil už při zaheslovaném webu. Yahoobot dorazil 16. 8. v 17:18:58 a rovněž jen mrkl na robots.txt. O dva dny později ho doplnil další robot Yahoo identifikující se jako „Yahoo-MMCrawler/3.x“. Roboty Yahoo se pak vracely pravidelně a k dnešnímu dni už Yahoo ve výsledcích vyhledávání zobrazuje 71 stránek. Škoda, že význam Yahoo je pro česky psané stránky naprosto zanedbatelný.
Centrum
Třetí přispěchalo Centrum se svým Morfeem a to 17. 8. v čase 10:18:22. Podíval se na robots.txt a odešel. Morfeo jsem rovněž „nezval“ a vzhledem k jeho (ne)významu nadále ani nesledoval.
Microsoft
Hned za Morfeem dorazil Microsoft se svým MSNbotem a to v 10:45:26. Podíval se na robots.txt a titulní stranu. Za necelé dvě hodiny se vrátil a pak se vracel víceméně pravidelně po celý den pro různé stránky webu. V dalších dnech MSN indexoval (a indexuje) jak zběsilý a ve výsledku vyhledávaní již má titulku.
Konečně dorazil dlouho očekávaný host – Google a to 21. 8. v 01:04:24. Google si stáhl titulku a zmizel. Od té doby se poměrně pravidelně vrací pro titulní stranu, ale dál se nepouští. Ve výsledku hledání nemá zatím žádnou stránku z Podnikatele.
Jyxo
Jako poslední ze třech pozvaných dorazilo Jyxo (22. 8. 03:01:22). Stáhlo robots.txt a asi deset stránek. Ve výsledcích vyhledávání je od 22. 8. od cca 23:30 jeden dokument – titulka.
Závěr
Nejrychlejší jak v poslání robota na nový web, tak v přidání stránek do výsledků vyhledávaní je jasně Seznam, což je pro mě příjemné překvapení. Google i Jyxo jsou na tom cca týden po spuštění webu skoro stejně – neví o webu nic. Yahoo či MSN indexuje ostošest i bez „ruční“ pozvánky.
Z tohoto testu nelze dělat samozřejmě žádné obecné závěry, nicméně rychlost Seznamu je zřejmá, stejně jako jistá ležérnost Jyxa a Google. Na druhou stranu ale rychlost robotů není to podstatné, podstatné je to, jak na tom budou zmíněné vyhledávače za měsíc či za půl roku a kolik lidí budou Podnikateli vodit.
Z tohoto článku mám pocit, že se pokoušíš srovnávat jabka s hruškama, neboť přece mezi Google, Seznamem a Jyxem je docela rozdíl v rozsáhlosti prohledávané sítě atd. Google IMHO indexuje řádově více stránek, než Seznam a Jyxo. A tak jím to bude trvat jinou dobu, než se sem robot dostane, neboť takový google robot toho má jistě víc na práci než konkurence.
Ale jinak je to hezký článek a se závěrem se nedá nic jiného dělat, než souhlasit. :)
Jde jen o takové sledování toho, co se na novém webu děje, protože dotazů na téma „a kdy mě zaindexuje Google (Seznam)“ je mnoho. Pozadí fungování vyhledávačů je samozřejmě rozdílné, ale to zase většinu lidí nezajímá.
BTW: v tomto konkrétním případě už Google dávno překonal Seznam v počtu indexovaných stránek – má jich asi 100x (!) tolik. Takže pro Seznam by se momentálně dalo použít ono okřídlené „první vyhrání, z kapsy vyhání“. Ale za měsíc může být vše zase jinak :)
zajímavá analýza, akorát bych pokračoval se sledováním. Ono nezáleží na tom, kdo je první, ale kdo bude mít v brzké době zaindexováno nejvíc stránek. A to bývá u Seznamu kámen úrazu. Google naopak dominuje. Takže si rád přečtu článek 2.0 např. za měsíc;-)
Myslím že mnohem zajímavější by bylo neviužít „pozvánek“.
Je známo že po upozornění na nový web vyvolá téměř okamitý příchod obrázkového robota Seznamu.
24.9. 01:40 Na dotaz „site:podnikatel.cz“ vrací Seznam 259 stránek a Google „přibližně 40.700″…
Dobrý den,
zajímalo by mě jaký má na tuto rychlost vliv počet odkazů a jejich kvalita.
Je jedno jestli na mě při tété první návštěvě odkazuje tisíc nebo 5 odkazů ?
Pokud ano, nevzpomínáte si kolik jich přibližně bylo a jaké byly ??
Děkuji
Neřekl bych, že to má zásadní vliv – ty první návštěvy robotů byly čistě na základě přidání URL do jejich formulářů a v té době neměl web žádné zpětné odkazy. Později už to možná roboty zohledňují, ale stejně je spíše než počet odkazů zajímá aktualizace a přísun nového obsahu – časté publikování je základ pro pravidelné návštěvy robotů.
Děkuji za odpověď, budu se tím řídit.