Web制作で見落としがちなテクニカルSEOのポイント【第2弾-クロール】

こんにちは！アカウントプランナーの渡辺です！

前回の第1弾「【検出】編」では、検索エンジンにWebサイトのURLを見つけてもらうための施策（sitemap.xmlやrobots.txt、内部リンクの設計）についてお話ししました。

>>Web制作で見落としがちなテクニカルSEOのポイント【第1弾-検出】

無事にクローラーにURLを発見してもらえたら、次は「2. クロール（巡回・情報収集）」のフェーズに移ります。

検索ボット（クローラー）がページを巡回し情報を収集することをクロールと呼びますが、テクニカルSEOではこのクロール効率を高められるかどうかが、その後のインデックス（検索結果に表示）に関わります。

特にサイトの規模が大きくなったり、構造が複雑になったりすると、クローラーが途中で息切れしてしまい、大事なページを持ち帰ってくれない（＝インデックスされない）という問題が発生します。

そこで重要になるのが、今回のテーマである「クロール効率の最適化」です。

Web制作時にWeb制作会社が検討すべきテクニカルSEOのポイントを、今回もGoogleの公式ガイドラインに沿って解説します！

検索エンジンが表示されるプロセスの復習

まずは全体像のおさらいです。検索エンジンは以下の4つのプロセスを経て、サイトを検索結果に表示します。

• 検出：内部リンクやsitemap.xmlからURLを発見する（前回のテーマ）
• クロール：クローラーがURL内のテキストやコード、アセットを収集する（今回のテーマ）
• インデックス：収集した情報を検索データベースに格納する
• 検索結果に表示：アルゴリズムに沿ってユーザーに届ける

今回の「クロール」を一言で表すなら、「クローラーに無駄なエネルギーを使わせず、重要なページへ効率よく案内するおもてなし」です。

Googleのクローラーが1つのサイトに費やせる時間やリソース（制限）のことを「クロールバジェット」と呼びます。

この予算（バジェット）を無駄遣いさせないための、制作時の具体的なテクニックを見ていきましょう。

【クロール】テクニカルSEOを実施する3つのポイント

制作時に意識すべき「クロール効率を高める」ための主要ポイントは、大きく分けて以下の3つです。

• 表示速度の高速化
• robots.txtを使った「無駄なクロール」のブロック
• ステータスコードの適切な管理とリダイレクトの最適化

これらを順番に深掘りしていきます。

ポイント1：表示速度の高速化

クローラーも人間と同じで、重くてなかなか開かないページは嫌いです。

具体的には、ページの読み込みに時間がかかると、クローラーがそのページの情報を取得するのに時間がかかり、ほかのページのクロールが遅れてしまいます。

Web制作において、デザインのクオリティを保ちながらも、コードやアセット（素材）の軽量化を徹底することが、そのままテクニカルSEOに直結します。

【制作時のチェックポイント】

• 画像の次世代フォーマット（WebP、AVIF）の採用：画質を維持しつつ、容量を削減
• ソースコードの軽量化：未使用のコードやCSS、JavaScriptの記載を取り除く
• 不要なプラグインや重い外部スクリプトの削除：特にCMS（WordPressなど）を利用する際は、不要なリクエストが発生していないか確認しましょう。

外部スクリプトについては、複数の広告タグや解析ツール、ヒートマップツールなどを導入していると、その分、サイトの表示速度低下につながる可能性があります。

適宜、使用状況を見直して、不要であれば記載を削除するなどの工夫が必要です。

【サイトのページ速度を調べる方法】

①Googleが提供している無料のツール「PageSpeed Insights」にアクセスする

②入力欄に調査したいURLを入力する

③モバイルとデスクトップそれぞれの値を確認する

PageSpeed Insightsを使用すると、このようにわかりやすく数値で可視化できます。

• 0-49：不良
• 50-89：何らかの改善が必要
• 90-100：良好

④「Core Web Vitals」を確認

「Core Web Vitals」とは、Googleが提唱するUX（ユーザー体験）の指標となっており、Googleの検索ランキングシステムでランキングを決定する際にも考慮されている要素です。

参考：Core Web Vitals と Google 検索の検索結果について｜Google Search Central

• LCP（Largest Contentful Paint）：主要コンテンツが表示されるまでの時間（2.5秒以内がベター）
• CLS（Cumulative Layout Shift）：表示中のレイアウトのズレ（0.1以下が理想）
• INP（Interaction to Next Paint）：ユーザー操作に対する応答速度（200ms以下が理想）

上記3項目について確認し、いずれも良好判定がなされているか確認しましょう。

⑤「パフォーマンス」の中にある「インサイト」や「診断」の項目から、改善点を確認する

PageSpeed Insightsでは、親切に改善箇所を教えてくれます。これを基に、改善施策を展開すれば、ページの表示速度を最適化できるのです。

ポイント2：robots.txtを使った「無駄なクロール」のブロック

すべてのページをクローラーに見せる必要はありません。

むしろ、ユーザーに見せる必要のないシステム裏側のページや、重複コンテンツになりやすいページにクローラーが迷い込むのは、クロールバジェットの最大の無駄遣いとなります。

ここで活躍するのが、前回も登場した「robots.txt」です。

robots.txtは「この場所には入らないでね」とクローラーに立ち入り禁止（Disallow）を命令することができます。

【robots.txtでクロールを拒否すべきページ例】

• CMSの管理画面やシステムディレクトリ（例：WordPressの /wp-admin/ など）
• サイト内検索の検索結果ページ（/search?q=… など、無限にURLが生成されてクロールバジェットを消費する原因に）
• ユーザーログインページ
• 会員向けのページ
• ECサイトなどの決済プロセスページ
• ほとんどコンテンツがないボリュームの薄いページ
• 重複コンテンツなど

例えば、

ECサイトのサイト内検索で「Tシャツ」と入力し、表示されるページ（例：/search?q=Tシャツ）は、入力するワードごとに生成されてしまうことが多いです。

何もしなければ、膨大に生成されるこのようなページにもクロールしてしまい、そのほかの重要なページのクロールが遅延してしまうこともあります。

【robots.txtの記述例】

User-agent: *
Disallow: /search?q=
Disallow: /*.pdf$

※2行目の記載は、サイト内検索で生成される全てのページに対してクロールを拒否
※3行目の記載は、サイト内のURL末尾が「.pdf」に対してクロール拒否
※アスタリスク（*）は、何が入ってもOKという意味
※ダラー記号（$）は、URLの末尾という意味

注意：noindexとrobots.txtのバッティングに注意！

よくある失敗として、「検索結果に出したくないから、HTMLに noindex タグを入れ、さらに robots.txt で Disallow（クロール拒否）する」というケースがあります。

これをやってしまうと、クローラーがページを見に行けない（クロールできない）ため、HTMLに書かれた noindex タグ自体を認識できず、結果としていつまでも検索結果に残り続けるという罠に陥ります。

「インデックスから消したいページ」は、クロールを許可して noindex を読ませる必要があります。

ポイント3：ステータスコードの適切な管理とリダイレクトの最適化

Webサイトの運用やリニューアル時に発生しやすいのが、URLの変更や削除です。

この際、クローラーに「このページは今どういう状態なのか」を正しく伝えるために、HTTPステータスコードを適切に返す必要があります。

もし、存在しないページ（リンク切れ）にアクセスした際に、見た目だけ「お探しのページは見つかりません」と表示され、システム的には「200 OK（正常）」を返している状態（ソフト404と呼ばれます）があると、クローラーは「中身がないのに正常なページ」として無駄に巡回してしまいます。

【ステータスコードの正しい使い分け】

• 404 Not Found：存在しない、または削除したページは、必ずこのステータスコードを正しく返す
• 301リダイレクト（恒久的な転送）：URLを変更した場合は、必ず301リダイレクトを設定します

なお、404 Not Found、301リダイレクトともに、古いURLがサイト内に残ってしまうと、クロール効率が落ちてしまいます。

ステータスコードを正しく使い分けつつ、内部リンクも同時にメンテナンスしてみてください。

【リダイレクトの注意点：複数リダイレクトの回避】

A ➔ B ➔ C ➔ D のように、何度もリダイレクトが繰り返されると、クローラーの処理にも時間がかかってしまいます。また、なによりもユーザー側にも遅延が発生して、ユーザビリティ的にも良い状態とは言えません。

リダイレクトは必ず「A ➔ D」のように1回で完結するように設計しましょう。

Web制作の現場（特にワイヤー・設計段階）でできること

テクニカルSEOは、コーディング段階だけでなく、実は「サイト設計（ディレクトリマップやワイヤーフレーム作成）」の段階から始まっています。

例えば、ECサイトや不動産サイトのようなデータベース型サイトの場合、複数の条件（色、サイズ、価格など）で絞り込む機能がついている場合があります。

この絞り込みによって「無限に似たようなURLが生成される」構造になっていると、クローラーがその無限ループにハマり、サイト全体のクロール効率が悪化することも。

これを防ぐために、あらかじめ

「どの絞り込みパターンまでをクロール・インデックス対象にするか」

「重複するURLには canonical（URLの正規化タグ）をどう付与するか」

などを要件定義の段階でマーケターやエンジニアと握っておくことが、堅牢なサイト作りの鍵となります。

まとめ

今回の内容をギュッとまとめると、クロール効率を高めるためには、

• 画像を軽量化し、コードを綺麗にして、クローラーがサクサク巡回できる状態を作る
• 無駄なシステムページや検索結果ページは robots.txt で立ち入り禁止にする
• 404エラーや301リダイレクトを正しく処理して、クローラーを迷子にさせない

という3点がWeb制作において非常に重要です。（そのほかにもありますが、長くなるので一旦割愛）

ARUTEGAでは、見た目の美しさや使いやすさ（UI/UX）はもちろんのこと、こうした「検索エンジンのクローラーにとっても居心地が良い、ストレスのないサイト構造」を構築することを徹底しています。

デジタルマーケティングに強みを持つCOUNTER株式会社との提携も含め、大規模サイトのクロール最適化や、複雑なデータベース設計のSEOにもバチバチに対応可能です。

デザインやブランディングのほか、SEOにも長けているパートナーを探しているなど、お気軽にご相談ください。

ほなね。