Faktycznie Kade ma racje i przyłapał mnie na literówce, niepotrzebnie dałem slash na końcu.
A jeśli już miałby być ten slash to powinien wyglądać tak:
Kod:
User-agent: *
Allow: /
I w tym przypadku nie ma znaczenia czy plik będzie istniał czy nie, efekt blokad taki sam.
Do metatagów dodaj:
Kod:
<meta name="robots" content="index,follow,all"/> i daj znać.
Generalnie nie ma znaczenia czy zrobisz robot.txt, nie musisz go używać jeśli nie chcesz nic blokować.
robots.txt sluży aby nie indexować stron których sobie nie życzymy.