[148] IT 비전공자 [dreamhack]삐리릭... 삐리리릭...문제 풀기
https://seo.tbwakorea.com/blog/robots-txt-complete-guide/ 10분 안에 끝내는 robots.txt 총정리 가이드robots.txt 가 무엇인지 잘 모르시나요? 작성 방법부터, 상황별 예시까지 robots.txt에 대한 모든 것에 대해 차근차근 알려드리겠습니다!seo.tbwakorea.com robots.txt 란?robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(또는 검색 로봇)가 액세스 하거나 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일입니다. robots.txt 파일은 검색엔진 크롤러가 웹사이트에 접속하여 정보 수집을 하며 보내는 요청(reque..
