크롤링검색차단1 robots.txt 만들기 --모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다 User-agent: * Allow: / --관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹 페이지는 수집 비허용으로 설정해주세요. 아래 예제는 네이버 검색 서비스용 검색로봇에게 /private-image, /private-video 등은 수집하면 안 된다고 알려줍니다. User-agent: Yeti Disallow: /private*/ --해당 사이트 최상위에 robots.txt 파일 업로드하기-- noindex 규칙을 지원하는 모든 검색엔진이 사이트 페이지에서 색인을 생성하지 않도록 하려면 다음 태그를 페이지의 섹션에 배치하세요. 참고 사이트https://developers.google.com/search/.. 2025. 1. 3. 이전 1 다음 반응형