https://seo.tbwakorea.com/blog/robots-txt-complete-guide/
robots.txt 란?
robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(또는 검색 로봇)가 액세스 하거나 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일입니다. robots.txt 파일은 검색엔진 크롤러가 웹사이트에 접속하여 정보 수집을 하며 보내는 요청(request)으로 인해 사이트 과부하되는 것을 방지하기 위해 사용됩니다.
비유를 들어 조금 쉽게 설명하자면 robots.txt 파일은 도로에 있는 교통 표지판과 비슷한 역할을 한다고 이해할 수 있습니다. 가령 어떤 도로에 진입이 불가하다는 표지판이 있을 경우 진입하지 말아야 하는 것처럼, 검색엔진 크롤러 또한 robots.txt 에서 액세스가 허용되지 않은 디렉토리를 발견한다면 원칙적으로는 크롤링하지 않습니다.
출처 ㅣ https://seo.tbwakorea.com/blog/robots-txt-complete-guide/
0xH0P3{r0b0t_r0b0t}
'Dreamhack > Dreamhack Wargame (Challenge)' 카테고리의 다른 글
[149] IT 비전공자 [dreamhack]Arm Training-v2문제 풀기 (0) | 2025.02.06 |
---|---|
[147] IT 비전공자 [dreamhack][CodeEngn] MobileApp L01문제 풀기 (0) | 2025.02.04 |
[146] IT 비전공자 [dreamhack]please, please, please문제 풀기 (0) | 2025.02.03 |
[145] IT 비전공자 [dreamhack]Corrupted Disk Image문제 풀기 (0) | 2025.02.02 |
[143] IT 비전공자 [dreamhack][CodeEngn] Malware L01문제 풀기 (0) | 2025.01.31 |