Re: Pomatenec Yahoo! Slurp

From: David Brhel <dbrhel (zavinac)>
Date: 15. 02. 2005, 17:13 CET
Tomas Krause napsal(a):

> Hezky podvecer,
>
> take se vam Yahoo! Slurp pokousi indexovat zcela nesmyslne stranky? Je 
> to od nej doslova utok - jde po existujicich adresach a na konec si 
> vzdy prida /n/ (asi nekde videl, ze existuje adresar /n/ a zkousi to 
> vsude. Pri statisicich stranek je to ale celkem neprijemne a IMHO to 
> nema nic spolecneho se slusnym vychovanim robota.
>
Me to opakovane udelal myslim google.. zajimave bylo, ze asi bylo od 
podobne tematicky zamereho serveru (aspon podle url), dost mozna nejaky 
na ktery jsem odkazoval.. vzdycky tak 200-400 hitu.. nekde to bude v 
zadupany v konf..

> Nedeje se vam to take? Resili jste nekdy nejak podobne "neslusne" roboty?

myslim, ze to ani netreba (dostal 404 a znova uz to stejny nezkusil) 
nebo jo?

--DB

>  
Received on Tue, 15 Feb 2005 17:13:18 +0100

This archive was generated by hypermail 2.1.8 : 15. 02. 2005, 17:13 CET