XMLサイトマップをモニタリングする方法

Adam Gent
Adam Gent

2019-04-10公開

自動クロール設定とタスク管理機能を使うことで、DeepCrawlでXMLサイトマップをモニタリングすることができます。

以下のようなことができます:

複数のサイトマップクロールの長所と短所についてより詳しい情報は、サイトマップ監視の設定方法をお読みください。
 

別のプロジェクトを作成する

新しいプロジェクトを作成して、監視したいXMLサイトマップのプライマリドメインを使ってください。以下に例を示します。

プライマリドメイン: https://www.deepcrawl.jp/

監視するXMLサイトマップ:

サイトマップ上のページがリンクやメタデータ、コンテンツをロードするのにJavaScriptを使用している場合、[Javascriptのレンダリングを有効にする] を選択してください。クロールソースの設定では、サイトマップのデータソースのみ含むようにしてください。

それから、以下3つのオプションからXMLファイルを追加してください。

上記のどの方法でXMLサイトマップをクロールに追加するかは、技術的な設定に完全に依存します。それぞれのオプションを使う方法についての詳細は、クロールプロジェクトへXMLサイトマップを追加する方法のガイドをお読みください。

いずれかの方法でXMLサイトマップを追加した上で、次のステップに進んでいただき、クロール上限と詳細の設定を行ってください。

すべての設定が終わったら、テストクロールを実行してください。
 

テストクロールの実行

各クロールプロジェクトでの問題や設定上の問題を検出することができるので、ここでテストクロールを行うことは欠かせないステップとなります。

現状、DeepCrawlでは、クロールするHTTPのステータスコードやURLは表示されません。クローラーが4xxや5xxのエラーコードを検出したり、クロールされるべき実際のページを表示したりしない場合には、これは問題であると言えます。
クロールプロジェクトの設定が完了したら、[クロールを保存して開始]を選択してください。

テストクロールが完了するまでお待ち下さい。サイトマップのクロールにかかる時間はクロールする量により異なります。
 

クロールの結果

クロールが終わったら、エラーがないか確認してください。4xxや5xxのステータスコードを確認するには以下の指標をお使いください。

5xxエラーが大量にある場合は、サイトのサーバーがDeepCrawlからのリクエストを処理しきれていない可能性があります。この場合、クロールプロジェクトでクロール上限設定を変更したり、自社のWeb最適化チームとサイトのクロールはいつ行うのが最も良いか話し合ったりすると良いかもしれません。

DeepCrawlは、URLエラーの確認に加え、追加されたXMLサイトマップが有効かどうか検証する目的にも使うことができます。

サイトマップの有効性を確認する方法のガイドを公開しているので、ぜひ合わせてお読みください。
 

XMLサイトマップの課題を検出する

クロールプロジェクト内のXMLサイトマップに問題がなければ、次のステップはサイトマップの監視と、問題に対処するためのタスクの作成です。

DeepCrawlを使ってXMLサイトマップを監視する方法のガイドを読んでそのクロールに追加されたあらゆるXMLサイトマップに関する潜在的な問題を検出してください。

XMLサイトマップで問題を示唆する一般的なDeepCrawlの指標は以下の通りです。

指標 コンテンツ
200 ページ 2xxのHTTPステータスコードを返しているURL
XML サイトマップ DeepCrawlによって発見されたり、クロールされているサイトマップのURL
壊れたサイトマップリンク 4xx or 5xxのHTTPステータスコードを返しているサイトマップ内のURL
全てのリダイレクト 3xxのHTTPステータスコードを返しているURLまたはmeta refreshタグのあるURL
正規済でインデックスなしのページ Noindexタグ (meta robotsまたはX-robotsタグか他のページを参照するcanonicalタグのあるURL
サイトマップで許可されていない/ふせいな形式のURL robots.txtファイルで許可されていないか、不正な形式となっているサイトマップ内のURL
壊れた/許可されていないサイトマップ XMLサイトマップのURLで、4xxのHTTPステータスコードを返したものか、robots.txtファイルでブロックされたもの

 

上記の各指標は良く利用される指標ですので、その他の指標も組み合わせて、自社サイトに固有のXMLサイトマップの問題を検出することをおすすめします。例えば以下のような方法があります。

 

サイトマップの問題をモニタリングするためのタスク作成

DeepCrawlのタスク管理システムを使い、問題を検出する度にタスクを作成することをおすすめします。

タスク管理システムにタスクが作成されると、DeepCrawlのレポート用URLに割り当てられます。タスクを作ることでユーザーはXMLサイトマップのクロールプロジェクト内の課題をモニタリングでき、メールでの通知を受け取ることができます。

問題が検出されたら、画面右上にある[タスクマネージャー]のアイコンをクリックしてタスクを作成し、プルダウンで[タスクを作成する]を選択してください。その後以下のステップに従って進めてください。

  1. タスクにタイトルと説明を追加
  2. タスクの送信先にしたいメールアドレスを追加
  3. 優先順位をつける
  4. 全ての問題とタスクを追加し、クロールプロジェクトのスケジュールを決定
  5. 必要であれば期限を設定
  6. [作成]を選択


 

クロールのスケジューリング

予定通りにクロールを開始するため、クロールをあらかじめ設定しておくと便利です。設定したいクロールプロジェクトの詳細設定から、クロールのスケジュールのオプションを選択して下さい。

クロールの開始時間やクロールの頻度を選択してください。スケジュールの選択肢は以下の通りです。

  1. 一時間ごと
  2. 毎日
  3. 毎週
  4. 隔週
  5. 毎月
  6. 四半期ごと

サイトの更新にともなう変化をモニタリングするにはクロールをスケジュールしておくのが便利です。

例えば、自社の開発チームが本番環境への更新を2週間おきに行っているのであれば、隔週のオプションを選択してください。

その後クロールを開始する日付と時間を選択してください。例:2019/1/30 4:00am

なお、サイトの更新直後のタイミングでクロールを行うような設定にしておくことをおすすめします。更新以前にクロールする設定になっている場合、XMLサイトマップの変更点や新たに発生した問題点を見逃してしまう可能性があります。

null

設定した日付から定期的にクロールが実行されます。例えば上記の設定の場合、次のクロールは2019/2/14 4:00amとなります。タイムゾーンは設定内で表示されます。

もしタイムゾーンを変更したい場合、[アカウント設定] > [タイムゾーン]で変更できます。

以上で、サイトマップのクロールプロジェクトをモニタリングする設定は完了です。
 

メールでサイトマップをモニタリングする

クロールが完了して次のクロールまで待機している状態になると、ツール内で作成した全てのタスクがDeepCrawlからメールで送信されます。

このメールはタスクのタブにある全てのタスクを含んでおり、以下のような項目にて通知致します。

  1. 検出済:タスク作成時に最初に検出されたページ
  2. 残り: 前回のクロールで見つかった全てのページ
  3. 解決済:解決されているため、既にレポートにはないページの数
  4. タスク作成日時: タスク作成日時:タスクが最初に作成された時間
  5. タスクのタイトル:ユーザーによって作成されたタスクのタイトル
  6. タスクの説明:ユーザーによって作成されたタスクの説明
  7. メールアドレス: タスクに追加されたメールとメールの受取人
  8. 優先順位:ユーザーにより設定された優先順位

これらのレポートはDeepCrawlがプロジェクトのクロールを実行するたびにメールにて送信されます。

残りのページが増えている場合、またはDeepCrawlのレポートの詳細を把握する場合には、そのタスクのタイトルをクリックしてください。

タスクのタイトルをクリックすると、そのままDeepCrawlのレポート画面に遷移します。


 

まとめ

このページでご紹介した手法を使うことで、ユーザーや担当チームの要望に応じてサイトマップをモニタリングしたりクロールをスケジュールしたりできます。具体的に、これらの手法により以下のようなことができます。

  1. 複数のXMLサイトマップをモニタリングするクロールをスケジュール
  2. DeepCrawlのタスク管理システムでのタスクの優先順位付け
  3. 優先度の高いタスクをメールで直接通知
  4. DeepCrawlにログインせずにサイトマップをモニタリング

Author

Adam Gent
Adam Gent

業界で8年以上の経験を持つ、検索エンジン最適化(SEO)のプロフェッショナル。長年にわたり、中小企業からFTSE 100社に入るグローバルなハイストリートブランドまで、さまざまなクライアントを成功に導いてきた。

ご質問はありますか?

どのプランにするかご検討中の場合は、お問い合わせページからご連絡ください。ご質問があれば喜んでお答えします。

メッセージを送信する