Witam, od jakiegoś czasu mam problem z robotem google (prawdopodobnie po zmianie hostingu, choć być może to tylko zbieg okoliczności), otrzymuję następujący komunikat:

"Nie udało się zindeksować Twojej witryny, ponieważ nie mogliśmy uzyskać dostępu do pliku robots.txt.robots.txt"

Tutaj zawartość robots.txt

"User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: mojawitryna/sitemap.xml.gz"


Jakieś pomysły jak to naprawić : )?

Twoj robot.txt wygląda wporządku, prawdopodobnie miałeś chwilowe problemy z stroną lub serwerem gdy przenosiłeś ją, podczas gdy zmieniały się dnsy podczas gdy google bot odwiedził Twoją stronę.
Zaloguj się do GWT i pobierz swoją stronę jako google, jeśli pobierze to wszystko jest wporzadku.

Ewentualnie Twój hosting może ma jakieś ograniczenia. Może się bowiem zdarzyć, że dany serwer nie obsługuje opcji Mod rewite.
Możesz pewnie jeszcze spytać do czego służy mod rewrite
Więc najprościej mówiąć jest to moduł tworzący łatwe w zapamiętaniu linki do stworzenia zoptymalizowanych linków pod kątem SEO.
Zastosowań jest znacznie więcej jednak domyślam się że używasz wordpressa, a dla wtyczek które wykorzystuje np. Yoast WordPress SEO lub All in One SEO Pack jest niezbędny.

Stronę pobrałem bezproblemowo. Pozostaje tylko poczekać na kolejne odwiedziny google bota i zobaczy czy indeksowanie wróciło do normy bo aktualnie coś kuleje. Oczywiście jeżeli wszystko jest ok z mod rewrite.
Hosting mam w OVH i z tego co mówi ich FAQ to mają Mod rewrite.

Niestety po kolejnej wizycie bota problem nie ustąpił. Dodam że druga witryna (stworzona już w OVH) działa jak należy :/