워드프레스 robot.txt 파일 만드는 방법

by

인터넷은 우리가 인식하기 어려울 정도로 드넓은 세상입니다. 우리가 현실에서 인식하는 공간의 범위는 시야에 들어오는 정도라 할 수 있죠. 여기에 과학지식으로 밝혀진 공간의 넓이가 더해지게 됩니다. 과거에는 탐험을 통해 지구의 공간을 어림잡아 예측하기도 했습니다. 보다 정밀한 기술이 발달해 우주라는 공간에 대해서도 조금씩 밝혀지고 있습니다.

인터넷은 현실과는 차이가 있습니다. 가상의 공간에 다양한 사람들이 정보, 콘텐츠를 공유하고 있습니다. 이를 활용하지 않는 사람에게는 아주 협소한 공간이 될 수 있죠. 또는 일부만 이용하는 경우도 해당됩니다. 하지만, 본격적으로 인터넷 세상을 활용하고 즐기는 사람들에게는 인식할 수 없을 정도의 공간을 제공합니다.

이런 가상의 인터넷 공간에 자신만의 자리를 마련할 수 있습니다. 다양한 방법이 존재하는데요. 가장 대표적인 방법이 자신의 웹사이트를 운영하는 것입니다. 웹사이트 운영의 목적은 다양합니다. 개인 공간, 비즈니스를 위한 공간등이 있습니다. 어떤 목적을 가지고 있든 방문자가 존재해야만 보람을 느낄 수도 있습니다. 일반적으로 방문자는 검색엔진(구글, 네이버등)을 통해서 해당 웹사이트를 발견하게 됩니다.

검색엔진에서는 새로운 웹사이트 혹은 페이지를 찾기 위해 봇(bot)을 활용하게 되는데요. 봇의 방문을 원치않는 경우, 이를 명시하는 방법도 존재합니다. robot.txt파일을 웹사이트에 업로드하는 것입니다. 여기에는 몇가지 규칙이 존재합니다. 본문에서 robot.txt 파일을 만들고, 적절한 규칙을 설정하는 방법을 알아봅니다.

robot.txt 파일을 워드프레스 사이트에 만드는 방법.

1. 기본적인 robots.txt 파일 이해하기

robots.txt 파일은 검색 엔진 크롤러(봇)에게 사이트의 어떤 부분을 크롤링(수집)할지에 대한 지침을 제공하는 텍스트 파일입니다. 이 파일을 통해 검색 엔진이 사이트를 어떻게 탐색할지 제어할 수 있습니다.

2. robots.txt 파일 생성 및 업로드

robots.txt 파일을 만들려면 다음 단계를 따르세요:

1. 텍스트 편집기 사용

메모장, VSCode, Sublime Text 등 텍스트 편집기를 사용해 새 파일을 만듭니다. 파일 이름은 robots.txt로 합니다.

2. 기본 robots.txt 파일 내용 작성

가장 기본적인 robots.txt 파일은 다음과 같은 내용을 포함할 수 있습니다:

plaintext코드 복사User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
  • User-agent: *는 모든 검색 엔진 크롤러에 대한 규칙을 의미합니다.
  • Disallow: /wp-admin/는 워드프레스 관리 영역을 크롤러가 접근하지 못하도록 합니다.
  • Allow: /wp-admin/admin-ajax.php는 특정 파일은 크롤러가 접근할 수 있도록 허용합니다.

3. 추가 규칙 작성

사이트의 특정 디렉토리나 파일을 크롤링에서 제외하거나 포함하려면 추가 규칙을 작성할 수 있습니다. 예를 들어:

plaintext코드 복사User-agent: Googlebot
Disallow: /private/

User-agent: Bingbot
Disallow: /no-bing/

Sitemap: https://www.example.com/sitemap.xml
  • User-agent: Googlebot은 구글의 크롤러에 대한 규칙을 의미합니다.
  • Disallow: /private/는 /private/ 디렉토리를 구글봇이 크롤링하지 못하도록 합니다.
  • Sitemap: https://www.example.com/sitemap.xml은 사이트맵의 위치를 명시하여 검색 엔진이 사이트 구조를 쉽게 이해할 수 있도록 합니다.

4. 파일 저장 및 업로드

파일을 저장하고, FTP 클라이언트(예: FileZilla)를 사용하여 워드프레스 설치 디렉토리의 루트(예: public_html)로 업로드합니다.

3. 플러그인 사용하기

워드프레스 관리자 대시보드에서 플러그인을 사용해 robots.txt 파일을 쉽게 생성하고 관리할 수도 있습니다. 아래는 대표적인 플러그인 예시입니다.

1. Yoast SEO 플러그인

  1. 워드프레스 관리자 대시보드에서 플러그인 > 새로 추가로 이동합니다.
  2. “Yoast SEO”를 검색하고 플러그인을 설치한 후 활성화합니다.
  3. SEO > 도구 > 파일 편집기로 이동합니다.
  4. robots.txt 파일 섹션에서 원하는 내용을 추가하거나 수정한 후 저장합니다.

2. All in One SEO 플러그인

  1. 워드프레스 관리자 대시보드에서 플러그인 > 새로 추가로 이동합니다.
  2. “All in One SEO”를 검색하고 플러그인을 설치한 후 활성화합니다.
  3. All in One SEO > 도구 > robots.txt 편집기로 이동합니다.
  4. 필요한 내용을 추가하거나 수정한 후 저장합니다.

4. robots.txt 파일 확인

업로드하거나 플러그인으로 생성한 후, 브라우저에서 https://www.example.com/robots.txt로 접속해 파일이 제대로 적용되었는지 확인합니다. 여기서 example.com은 자신의 도메인으로 바꿔야 합니다.

마치며.

워드프레스는 개인이 손쉽게 자신의 웹사이트를 만들 수 있도록 도와주는 프로그램의 이름입니다. 일반적으로 웹사이트를 만들기 위해서는 그에 맞는 코딩 지식이 필요하게 됩니다. 직접적으로 코딩 과정을 생략할 수 있는 다양한 기능을 제공하고 있습니다. 만들어진 웹사이트를 검색엔진에서 잘 가져갈 수 있도록 규칙을 지정하는 것은 상당히 중요한 부분이기도 합니다. 타인에게 노출되어야 할 페이지와 노출이 되어서는 안되는 페이지를 구분할 수 있는 부분이기도 합니다. 본무에서 확인한 내용을 참고하여 자신만의 웹사이트를 잘 활용한다면 도움이 될 수 있을 것입니다.

Leave a Comment