# # Plik robots.txt dla strony 1a.biz.pl # # robots.txt generated at http://www.mcanerin.com #User-agent: googlebot-image #Disallow: / #User-agent: yahoo-blogs/v3.9 #Disallow: / #User-agent: * #Disallow: #User-agent: * #Disallow: / #User-Agent: * #allow: /tradovium/index.php #allow: /tradovium/jezyki #allow: /tradovium/dla_klientow #allow: /tradovium/dla_tlumaczy #User-Agent: * #allow: /tradovium/index.php/ #allow: /tradovium/jezyki/ #allow: /tradovium/dla_klientow/ #allow: /tradovium/dla_tlumaczy/ #Sitemap: http://www.1a.biz.pl/slownikangielski Visit-time: 0100-0500 # co oznacza zezwolenie na wizyty robota w godzinach # 1.00-18.00 czasu uniwersalnego (GMT). # Żaden znany mi robot nie respektuje tych pól. # tutaj was nie chcemy # ========= Disallow: /robocze/ # Warto tu podkreślić dla uniknięcia wątpliwości: wartość # pola Disallow określa początek ścieżki widzianej przez # serwer. Zatem wpis /katalog/ wyłącza z dostępu wszystkie # pliki w katalogu /katalog/, ale nie wyłącza dostępu do np. # /inny/katalog/. Z kolei wpis /katalog (bez kończącego # ukośnika) wyłącza z dostępu wszystko, co ma na początku # napis /katalog, czyli m. in. zawartość katalogów /katalog/, # /katalogi/, /katalog-nowy/ oraz pliki /katalogi.html, # /katalogowanie.txt i podobne. # Nie można tu użyć znaków globalnych ani podać samego # zakończenia ścieżki (co umożliwiłoby wygodne wyłączenie z # pobierania np. plików MPG). Jest to najbardziej kłopotliwe # ograniczenie standardu w jego pierwotnej formie. # Jeśli ścieżka zawiera znaki specjalne albo znaki spoza # zestawu ASCII, muszą być one zakodowane jako sekwencje %xx, # gdzie x oznacza cyfrę szesnastkową. Sekwencja musi zawierać # dokładnie dwie cyfry szesnastkowe, przy czym można użyć # małych lub dużych liter. #Crawl-Delay: 3 #Request-rate: 1/5 # maximum rate is one page every 5 seconds # gdzie n oznacza czas w sekundach między zakończeniem # pobierania jednego dokumentu, # a rozpoczęciem pobierania drugiego.