robots.txt Archives - Page 3 of 4

방금 새 사이트에서 robots.txt 파일을 업데이트했습니다. Google 웹 마스터 도구에서 마지막 업데이트 10 분 전에 내 robots.txt를 읽었습니다.

Google이 가능한 빨리 robots.txt를 다시 읽도록 권장 할 수있는 방법이 있습니까?

업데이트 : 사이트 구성 | 크롤러 액세스 | robots.txt 테스트 :

홈페이지 액세스 표시 :

Googlebot이 http://my.example.com/ 에서 차단되었습니다 .

참고 : Google에서 마지막으로 읽은 robots.txt는 다음과 같습니다.

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

내가 발로 직접 쏜 적이 있습니까, 아니면 마지막으로 읽었습니까?

내가해야 할 일에 대한 아이디어가 있습니까?

다른 사람 이이 문제를 겪을 경우 google-bot이 robots.txt 파일을 다시 다운로드하도록 할 수 있습니다.

건강-> Fetch as Google [1]로 이동하여 /robots.txt를 가져옵니다.

파일이 다시 다운로드되고 Google도 파일을 다시 구문 분석합니다.

[1] 이전 Google UI에서는 ‘진단-> Fetch as GoogleBot’입니다.

나는 이것이 매우 오래되었다는 것을 알고 있지만 … 잘못된 robots.txt를 업로드하면 (모든 페이지를 허용하지 않음) 다음을 시도 할 수 있습니다.

Google이 XML 사이트 맵을 읽으려고하면 robots.txt를 다시 확인하여 Google이 robots.txt를 다시 읽도록합니다.

승인. 여기 내가 한 일이 있으며 몇 시간 안에 Google이 내 robots.txt 파일을 다시 읽습니다.

우리는 우리가 운영하는 1 개의 사이트마다 2 개의 사이트를 가지고 있습니다. 이를 표준 사이트 (www.mysite.com) 및 기본 도메인 사이트 (mysite.com)라고하겠습니다.

mysite.com이 항상 www.mysite.com으로 리디렉션되는 301을 반환하도록 사이트를 설정했습니다.

Google 웹 마스터 도구에서 두 사이트를 모두 설정 한 후 www.mysite.com이 정식 사이트라고 말하면 정식 사이트에서 robots.txt 파일을 읽은 직후에

왜 그런지 모르겠지만 그 일이 일어났습니다.

며칠 동안 Google 검색 간격을 줄입니다.

또한 robots.txt를 확인하기위한 buttom을 보았습니다.

How IT