태그 보관물: web-crawlers

web-crawlers

robots.txt에서 사용자 에이전트 결합 함께 나열한 다음 robots.txt 에 공통 규칙을

사용자 에이전트를 함께 나열한 다음 robots.txt 에 공통 규칙을 붙일 수 있습니까?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/



답변

예. 에이전트 이름이 올바르게 지정되었다고 가정하면 다음과 같이 작동합니다. 자세한 내용을 보려면 여기에 리소스가 있습니다. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt


답변