--모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다
User-agent: *
Allow: /
--관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹 페이지는 수집 비허용으로 설정해주세요. 아래 예제는 네이버 검색 서비스용 검색로봇에게 /private-image, /private-video 등은 수집하면 안 된다고 알려줍니다.
User-agent: Yeti
Disallow: /private*/
--해당 사이트 최상위에 robots.txt 파일 업로드하기
-- noindex 규칙을 지원하는 모든 검색엔진이 사이트 페이지에서 색인을 생성하지 않도록 하려면 다음 <meta> 태그를 페이지의 <head> 섹션에 배치하세요.
<meta name="robots" content="noindex">
참고 사이트
robots.txt 소개 및 가이드 | Google 검색 센터 | 문서 | Google for Developers
robots.txt는 크롤러 트래픽을 관리하는 데 사용됩니다. robots.txt 소개 가이드에서 robots.txt 파일의 정의와 사용 방법을 알아보세요.
developers.google.com
https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=ko
NOINDEX를 사용하여 검색 색인 생성 차단 | Google 검색 센터 | 문서 | Google for Developers
NOINDEX 태그는 Google이 페이지의 색인을 생성하는 것을 차단하여 Google 검색결과에 페이지가 표시되지 않도록 할 수 있습니다. 이 가이드에서 NOINDEX 태그를 구현하는 방법을 알아보세요.
developers.google.com
https://searchadvisor.naver.com/guide/seo-basic-robots
robots.txt 설정하기
robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다. IETF에서 2022년 9월에 이에 대한 표준화 문서를 발행하였습니다. robots.txt 파일은 항상
searchadvisor.naver.com
https://backlinkpro.kr/post/robots-txt
robots txt 파일 생성, 수정, 적용까지 총정리 가이드 - 백링크프로
robots.txt 파일은 검색 엔진 최적화(SEO)의 기본적인 요소중에 하나입니다. 세팅을 제대로 해야 홈페이지가 검색 순위에서 상승할 수 있습니다. robots txt 파일 생성, 수정, 적용까지 총정리 가이드해
backlinkpro.kr
'Etc' 카테고리의 다른 글
| 유용한 설치 프로그램 (1) | 2025.01.15 |
|---|---|
| LDAP(Lightweight Directory Access Protocol) 연동 (0) | 2024.09.12 |
| 엑셀 기능 (0) | 2024.09.11 |
| 리쏘페인 활용 한옥 무드등 만들기(경북ICT이노베이션스퀘어 장비교육 2탄(3D프린터)) (2) | 2023.10.29 |
| mac OS 에서 zsh: command not found : adb (0) | 2022.10.12 |
댓글