검색엔진에 제대로 노출되려면 챙겨야 할 것들 — robots.txt와 SEO 플러그인

시작하기 전에

워드프레스 설치 직후 진짜 필수 체크리스트에서 색인 차단 체크를 풀었다. 그럼 이제 구글이 알아서 잘 찾아오냐. 그건 아니었다.

“차단하지 않음”이랑 “잘 찾아오게 함”은 다른 얘기임. 그 사이를 메우는 게 robots.txt랑 SEO 플러그인인데, 둘 다 이름만 거창하고 실제로 하는 일은 단순했다.

robots.txt가 뭔데

사이트 루트에 두는 텍스트 파일 하나다. 내사이트.com/robots.txt로 접속하면 바로 보인다.

하는 일은 크롤러 봇한테 “여기는 긁어가도 되고 저기는 안 된다”를 알려주는 것. 일종의 안내판임. 정상적인 봇은 사이트에 들어오면 이 파일부터 확인한다.

문법도 다섯 줄이면 끝난다.

지시문	기능
User-agent	어떤 크롤러에게 적용할지 (*는 전체)
Disallow	접근 금지 경로
Allow	금지 범위 안에서 예외로 허용할 경로
Sitemap	사이트맵 XML 위치 안내
Crawl-delay	요청 빈도 제한

워드프레스는 파일이 실제로 없어도 기본 robots.txt를 자동으로 만들어준다. 그래서 아무것도 안 해도 일단 굴러감.

중요한 건 강제력이 없다는 것

이게 제일 오해하기 쉬운 지점이다.

robots.txt는 법적 강제력이 없는 자율 규약이다.

1. 구글 같은 정상 검색엔진은 대체로 지킴.
2. 악성 크롤러나 스크래퍼는 그냥 무시함.
3. User-agent 이름은 누구나 위조 가능해서, 막아도 이름을 속이고 들어오면 못 막는다.

그러니까 “확실한 차단”이 아니라 “정상적인 봇들에게 보내는 신호” 정도로 이해해야 맞다. 방화벽이 아니라 안내판이라는 뜻임.

(AI 크롤러 막는 얘기가 요즘 많길래 나도 한번 혹했는데….. 어차피 안 지키는 놈은 안 지킨다는 걸 알고 나서 우선순위를 내렸다.)

절대 막으면 안 되는 크롤러가 하나 있다

여기가 애드센스 하는 사람한테는 제일 중요한 부분이다.

Mediapartners-Google은 절대 막으면 안 된다.

이게 애드센스 크롤러인데, 왜 크롤러랑 광고가 연결되냐면 —

애드센스는 아무 광고나 랜덤으로 띄우는 게 아니다. 그 페이지의 실제 내용을 읽고 관련성 높은 광고를 골라서 보여준다. 콘텐츠 맞춤 광고라고 함.

그 “페이지 내용 읽기”를 하는 게 바로 이 봇이다. 무슨 주제인지 파악하고, 정책 위반 요소는 없는지 확인해서 어떤 광고를 내보낼지 정한다.

이 접근을 막으면 어떻게 되냐.

1. 구글이 페이지 내용을 못 읽음.
2. → 광고가 아예 안 뜨거나, 관련성 낮은 저단가 광고만 뜸.
3. → 수익에 직접 타격.

User-agent: *로 전체를 일괄 차단하는 실수가 특히 위험하다. 정상 검색엔진 크롤링까지 같이 막혀서 SEO에도 악영향이고, 애드센스 크롤러도 같이 걸린다.

막을 거면 특정 봇만 골라서 막아야 한다;

SEO 플러그인은 정말 도움이 되나

RankMath, Yoast 같은 것들. 결론부터 말하면 이렇다.

직접 순위를 올려주는 마법은 아니다. 구글이 “이 플러그인 깔았으니 상위노출 시켜줄게” 하는 특별 대우는 없음.

대신 잘 노출되기 위한 기본기를 자동으로 챙겨준다.

해주는 것	못 해주는 것
제목태그·메타설명·헤더구조를 빠짐없이 채우도록 안내	콘텐츠 품질·독창성
XML 사이트맵 자동 생성 — 크롤러가 모든 페이지를 발견하도록 지도를 만들어줌	백링크(다른 사이트가 걸어주는 링크)
구조화 데이터 자동 삽입 — 검색결과에 별점 같은 게 뜨게 하는 기술적 표시	체류시간·이탈률
robots.txt, 캐노니컬 URL, 리다이렉트를 UI로 관리	“SEO 점수 100점 = 1페이지 노출” 보장

그러니까 플러그인은 “기술적 실수로 손해보는 상황”을 막아주는 안전장치에 가깝다. 사이트맵 누락, 메타태그 미설정 같은 초보 실수 방지용임.

실제 검색노출을 결정하는 건 여전히 콘텐츠 품질이랑 시간이 쌓인 신뢰도다.

참고로 플러그인이 보여주는 “SEO 점수”는 구글의 실제 순위 알고리즘이 아니다. 플러그인이 자체적으로 정한 모범사례 체크리스트일 뿐임. 이거 100점 만들려고 문장을 억지로 비트는 건 본말전도다.

내 블로그를 실제로 점검해봤다

글 쓰는 김에 내 블로그 상태를 직접 확인해봤는데, 생각보다 안 되어 있었다.

항목	상태
robots.txt	✅ 정상 (워드프레스 기본값)
RankMath 설치	✅ 활성화됨
RankMath 사이트맵	❌ 404 — 꺼져 있었음
홈 메타 설명	❌ 없음
캐노니컬 태그	❌ 없음

플러그인을 설치만 하고 설정 마법사를 안 돌린 상태였던 것. 설치 목록에 이름이 떠 있으니까 당연히 되고 있는 줄 알았다.

robots.txt는 워드프레스 코어 사이트맵(wp-sitemap.xml)을 가리키고 있어서 최악은 면했는데, RankMath 쪽 기능은 사실상 하나도 안 켜져 있었음.

설치 ≠ 설정이라는 걸 몸으로 배웠다..!

그래서 순서를 이렇게 잡았다.

1. Google Search Console 등록 — 이게 없으면 색인 자체가 한참 늦어진다.
2. 사이트맵 제출 — Search Console에 주소 하나 넣으면 끝.
3. RankMath 설정 마법사 완주 — 메타·캐노니컬·사이트맵을 한 번에 잡아줌.
4. 그다음에 글별 메타 설명 채우기.

정리

1. robots.txt는 안내판이지 방화벽이 아니다. 강제력 없음.
2. Mediapartners-Google은 절대 막지 말 것. 막으면 광고 수익에 직접 타격.
3. User-agent: * 일괄 차단은 위험하다. 막을 거면 특정 봇만.
4. SEO 플러그인은 순위를 올려주는 게 아니라 기술적 실수를 막아주는 안전장치다.
5. 설치했다고 되어 있는 게 아니다. 나도 RankMath를 깔아놓고 설정을 안 해서 사이트맵이 404였다.
6. 순서는 Search Console 등록 → 사이트맵 제출 → 플러그인 설정 마법사.

Mediapartners-Google을 막으면 애드센스 광고 수익이 직접 줄어든다.

---

← 이전 글	다음 글 →
워드프레스 설치 직후 진짜 필수 체크리스트	(준비 중)