하기 위해 :
- 내 웹 사이트의 보안 강화
- 대역폭 요구 사항 감소
- 이메일 주소 수집 방지
답변
이메일을 수집하거나 사이트의 취약점을 테스트하는 봇은 robots.txt를 존중하지 않습니다. 실제로 이러한 악의적 인 봇은 robots.txt를보고 사이트를 더 잘 매핑합니다. 당신이 어떤 지점을 가지고 있다면 그것은 Disallow:사이트를 더 잘 공격하는 데 사용됩니다. 사이트를 수동으로보고있는 해커는 허용하지 않으려는 파일 / 디렉토리를 검사하는 데 추가 시간을 소비해야합니다.
답변
robots.txt는 웹 사이트의 보안을 강화하거나 이메일 주소 수집을 방지하지 않습니다. robots.txt는 검색 엔진이 웹 사이트의 섹션을 건너 뛰는 가이드입니다. 이들은 색인되지 않으며 공개 검색 엔진에 표시하지 않으려는 섹션에 사용해야합니다.
그러나 이렇게해도 다른 봇이 사이트 전체를 다운로드하여 보안을 강화하거나 전자 메일 수집을 방지 할 수는 없습니다. 보안을 강화하려면 인증을 추가하고 보안 섹션 이외의 인증 된 사용자 만 허용해야합니다. 전자 메일 주소 수집을 방지하려면 웹 사이트에서 전자 메일을 일반 텍스트 (또는 쉽게 해독 할 수있는 텍스트)로 넣지 마십시오.
답변
robots.txt는 보안에 도움이되지 않습니다. 어렴풋한 무언가를하고 싶은 봇은 어쨌든 무시합니다.
답변
robots.txt 파일은 봇과 스파이더가 특정 컨텐츠를 남겨 두라는 요청의 역할 만합니다. 실제로 액세스를 막을 수는 없습니다. “좋은”봇은이를 존중하지만 “나쁜”봇 (아마도 차단하려는 봇)은이를 무시하고 어쨌든 진행할 것입니다.
답변
robots.txt 대신 보안 문자 코드를 사용해야 할 수도 있습니다.