Forum serwisu ReklamaStron.pl

Dyskusje o tworzeniu i reklamowaniu stron
oraz o sposobach zarabiania na rozreklamowanej stronie


Jak to zrobić? - Google Adresy URL blokowane przez plik robots.txt

dreszler - 2007-11-06, 13:05
Temat postu: Google Adresy URL blokowane przez plik robots.txt
Tak jak w temacie: Google Adresy URL blokowane przez plik robots.txt.
Jak to poprawić? Co wpisać w robots.txt, aby nie blokowało url?

OzdobaForum - 2007-11-06, 15:41
Temat postu: Co wpisać w pliku robots.txt?
Zasady tworzenia pliku robots.txt są proste. Można wykorzystać do tego dwie proste komendy: "User-agent", "Disallow", które omówię na przykładzie.
Kod:
# Przykład treści pliku robots.txt - ściągawka

User-agent: reklamastron # informacja dla robota "reklamastron"
Disallow: # zgoda na dostęp do wszystkich treści umieszczonych na serwerze

User-agent: * # informacja dla wszystkich robotów
Disallow: / # ograniczenie dostępu do wszystkich plików serwera

Pierwsza linijka kodu rozpoczyna się "#" i jest komentarzem, który nie wpływa na działanie pliku robots.txt - w dalszej treści kodu również dodane są komentarze wyjaśniające znaczenie poszczególnych linii kodu.

Ten sam kod bez komentarzy wyglądałby następująco:
Kod:
User-agent: reklamastron
Disallow:

User-agent: *
Disallow: /
Kolejne linijki kodu to już specyfikacja zakresu dostępu wybranych robotów do treści strony. Zasada jest prosta - zawsze najpierw podajemy nazwę robota poprzedzoną komendą "User-agent:", a później po komendzie "Disallow:" określamy ograniczenia dostępu. Możemy podać konkretną nazwę robota (np. "reklamastron"), lub przy określaniu praw dostęp dla wszystkich robotów wpisać gwiazdkę "*". Po wskazaniu robota/robotów, podaje się zakres ograniczenia dostępu do serwera. Gdy chcemy, aby wszystkie treści były dostępne, po komendzie "Disallow:" nie wpisujemy nic. Gdy chcemy ograniczyć dostęp do wybranego katalogu, podajemy jego ścieżkę np. "/dokumenty/prywatne/", a dla całkowitego ograniczenia dostępu robotów do plików umieszczonych na serwerze wskazujemy katalog główny przez wpisanie znaku "/".

Powyżej przedstawiony przykład kodu pliku robots.txt jest informacją, że robot o nazwie "reklamastron" ma dostęp do wszystkich plików na serwerze, podczas gdy wszystkie inne roboty nie mają dostępu do żadnych treści umieszczonych na serwerze.

Stąd też jeśli chcesz, aby wszystkie roboty miały dostęp do wszystkich plików na serwerze, Twój plik robots.txt powinien mieć następującą postać:
Kod:
User-agent: *
Disallow:

dreszler - 2007-11-06, 15:48

ok wielkie dzieki
dreszler - 2007-12-24, 09:34
Temat postu: Blokowanie katalogu - plik robots.txt
Blokowanie katalogu wygląda następująco:

Kod:
User-agent: Googlebot
Disallow: /lemury


A co jeśli chcę zablokować więcej niż 1 katalog? czy to będzie wyglądało tak??:

Kod:
User-agent: Googlebot
Disallow: /lemury

User-agent: Googlebot
Disallow: /pliki


Czy jest inny sposób??

OzdobaForum - 2007-12-27, 23:55
Temat postu: Blokowanie kilku katalogów - plik robots.txt
dreszler napisał/a:
Blokowanie katalogu wygląda następująco:
Kod:
User-agent: Googlebot
Disallow: /lemury
Tak, ale to jest blokowanie katalogu tylko dla robota o nazwie "Googlebot".

Cytat:
A co jeśli chcę zablokować więcej niż 1 katalog? czy to będzie wyglądało tak??:
Kod:
User-agent: Googlebot
Disallow: /lemury

User-agent: Googlebot
Disallow: /pliki
Taki zapis jest długi, ale również poprawny.

Cytat:
Czy jest inny sposób??
Tak, jeśli kilka katalogów ma być zablokowanych dla jednego robota można skrócić kod podając nazwę robota, a następnie wymieniając wszystkie katalogi, do których ma on mieć ograniczony dostęp. Przykład poniżej.
Kod:
User-agent: Googlebot
Disallow: /lemury
Disallow: /pliki

leszczu1t - 2008-02-16, 20:37
Temat postu: Gdze umieścić kod?
hej nie bardzo wiem, co zrobić z tym kodem? Gdzie go umieścić?
dreszler - 2008-02-16, 22:55

w pliku robot.txt który musisz zgrać na serwer
OzdobaForum - 2008-02-16, 22:58
Temat postu: Miejsce kodu
leszczu1t napisał/a:
co zrobić z tym kodem? Gdzie go umieścić?
Kod należy umieścić w pliku o nazwie robots.txt. Zaś plik robots.txt powinien znajdować się w katalogu głównym strony (trzeba go skopiować/przenieść na serwer).
dreszler - 2008-02-16, 23:01

ups zzapomiałem dopisac "s" sorki ;]
dreszler - 2008-12-14, 22:46

a jak mam w pliku taka treść
Kod:
User-agent: *
Disallow: - /admin/
Disallow: - /config/
Disallow: - /install/
Disallow: - /miniatury/
allow: -/miniatury/plik.php
Disallow: - /stat/
Disallow: - /style/
Disallow: - /popup/
Disallow: - /inc_roz/
Disallow: - /motywy/
Disallow: - /users_adm/


i chciałbym żeby tylko 1 plik w katalogu np:miniatury był indeksowany to jak będzie wyglądać zapis?

Kod:
User-agent: *
Disallow: - /admin/
Disallow: - /config/
Disallow: - /install/
Disallow: - /miniatury/
allow: -/miniatury/plik.php
Disallow: - /stat/
Disallow: - /style/
Disallow: - /popup/
Disallow: - /inc_roz/
Disallow: - /motywy/
Disallow: - /users_adm/

berestowich - 2015-09-27, 18:10

może usuń trojana pierwszej... http://knksoftware.pl/adware/dns-unlocker Jak usunąć DNS Unlocker (Ads by DNSUnlocker) w przeglądarkach Chrome, Firefox i IE

Powered by phpBB modified by Przemo © 2003 phpBB Group