Re: na co sluzia robots.txt?

From: Adam Hauner <hauner (zavinac)>
Date: 26. 03. 2004, 12:04 CET
Peter Polakovic (inet.sk) wrote:

> mozno polozim amatersku otazku, ale zatial som v tejto diskusii, za ten cas
> co som tu prihlaseny, nezaznamenal nic o vyzname robots.txt pre SEO. Maju
> robots.txt nejaky prakticky vyznam pre lepsie spristupnenie webovych stranok

Soubor robots.txt primarne urcuje URL, ktera jsou vyjmuta z indexovani 
roboty webovych vyhledavacu. Duvodem muze byt:
* duplicitni ci podobny obsah na ruznych adresach
   (napr. kodovani urcene v URL)
* adresy neposkytujici zadny (smyslupny) obsah
* adresy poskytujici obsah unikatni pro kazdy pristup
   (napr. cas, IP adresa, referer atpd.)
* prilisna hardwarova zatez zpusobena robotem pri indexovani URL s
   prakticky nekonecnym mnozstvi variant (napr. Bugzilla).

Vice informaci viz:
http://www.robotstxt.org/

-- 
Adam Hauner
Internet Info, s.r.o.
Na Strzi 5, 140 00 Praha tel: +420 241 441 695
http://www.iinfo.cz/ * http://navrcholu.cz/
Received on Fri, 26 Mar 2004 12:04:11 +0100

This archive was generated by hypermail 2.1.8 : 26. 03. 2004, 12:04 CET