Poměrně častým dotazem v různých diskusích a konferencích je „Za jak dlouho můj nový web zaindexuje Google (Seznam), kdy se dostanu do výsledků vyhledávání?“. Šance na poměrně exaktní změření a nalezení odpovědi se mi naskytla při příležitosti spuštění našeho nového projektu Podnikatel.cz. Ten neměl žádné zpětné odkazy, do spuštění testu byl za heslem a nikdo o něm nevěděl (v okamžiku spuštění mého malého testu ho nepodporovaly ani ostatní naše weby, od pondělí 20. 8. se už odkazy na Podnikatele objevily na našich ostatních serverech).
Jak jsem testoval
Jednoduše. V okamžiku odheslování webu (16. 8. 2007 v 14:45 hod.) jsem adresu www.podnikatel.cz přidal přes standardní rozhraní pro přidávání nových webů na Google, Seznam a Jyxo. A pak už nezbývalo než čekat, co se bude dít.
A nejrychlejším robotem se stává …
Seznam
První se doslova přihnal Seznam a to jeho „Seznam Screen-Shot Generator“ (14:45:15), který pořídil obrázek titulky. Hned vzápětí dorazil i klasický Seznambot (14:45:39). Ten se se mrkl na robots.txt a spokojeně odešel.
Vrátil se pak o den později a mezi 02:19:31 a 02:29:01 stáhl 22 různých stránek. A přesně těchto 22 stránek se o další den později, tj. 18. 8., objevilo ve výsledcích vyhledávání (konkrétně okolo 03:30 hod.) Seznam tak v rychlosti indexace porazil zbylé dva soupeře na hlavu – zatímco oni ještě své roboty ani neposlali na obhlídku, Seznam už zobrazoval nový server ve výsledcích vyhledávání.
Ti další
Yahoo!
Jako druhý se dostavil robot Yahoo, kterého jsem ani „nezval“ a nevím, kde na adresu přišel. Okolo ale brousil už při zaheslovaném webu. Yahoobot dorazil 16. 8. v 17:18:58 a rovněž jen mrkl na robots.txt. O dva dny později ho doplnil další robot Yahoo identifikující se jako „Yahoo-MMCrawler/3.x“. Roboty Yahoo se pak vracely pravidelně a k dnešnímu dni už Yahoo ve výsledcích vyhledávání zobrazuje 71 stránek. Škoda, že význam Yahoo je pro česky psané stránky naprosto zanedbatelný.
Centrum
Třetí přispěchalo Centrum se svým Morfeem a to 17. 8. v čase 10:18:22. Podíval se na robots.txt a odešel. Morfeo jsem rovněž „nezval“ a vzhledem k jeho (ne)významu nadále ani nesledoval.
Microsoft
Hned za Morfeem dorazil Microsoft se svým MSNbotem a to v 10:45:26. Podíval se na robots.txt a titulní stranu. Za necelé dvě hodiny se vrátil a pak se vracel víceméně pravidelně po celý den pro různé stránky webu. V dalších dnech MSN indexoval (a indexuje) jak zběsilý a ve výsledku vyhledávaní již má titulku.
Konečně dorazil dlouho očekávaný host – Google a to 21. 8. v 01:04:24. Google si stáhl titulku a zmizel. Od té doby se poměrně pravidelně vrací pro titulní stranu, ale dál se nepouští. Ve výsledku hledání nemá zatím žádnou stránku z Podnikatele.
Jyxo
Jako poslední ze třech pozvaných dorazilo Jyxo (22. 8. 03:01:22). Stáhlo robots.txt a asi deset stránek. Ve výsledcích vyhledávání je od 22. 8. od cca 23:30 jeden dokument – titulka.
Závěr
Nejrychlejší jak v poslání robota na nový web, tak v přidání stránek do výsledků vyhledávaní je jasně Seznam, což je pro mě příjemné překvapení. Google i Jyxo jsou na tom cca týden po spuštění webu skoro stejně – neví o webu nic. Yahoo či MSN indexuje ostošest i bez „ruční“ pozvánky.
Z tohoto testu nelze dělat samozřejmě žádné obecné závěry, nicméně rychlost Seznamu je zřejmá, stejně jako jistá ležérnost Jyxa a Google. Na druhou stranu ale rychlost robotů není to podstatné, podstatné je to, jak na tom budou zmíněné vyhledávače za měsíc či za půl roku a kolik lidí budou Podnikateli vodit.