既存のクロールプロジェクトへXMLサイトマップを追加する方法

Adam Gent
Adam Gent

2019-06-28公開

DeepCrawlを使用すると、XMLサイトマップおよびサイトマップファイル中のURLをクロールすることができます。
以下では、既存のクロールプロジェクトにXMLサイトマップを追加する手順をご紹介します。
 

1.既存のクロールプロジェクトの更新

DeepCrawlで既存のクロールプロジェクトに移動し、右上の歯車アイコンをクリック、[編集]ボタンをクリックします。

プロジェクト設定のステップ1に移動したら、[保存して続ける]ボタンまたは[2]をクリックして移動します。


 

2.ソース設定

ソース設定で、サイトマップチェックを入れます。DeepCrawlは、デフォルトでは/robots.txtファイルを使用してXMLサイトマップを検出およびクロールする設定となっております。


 

3.DeepCrawlへのXMLサイトマップの追加

DeepCrawlのクロールプロジェクトにサイトマップURLを追加する際、以下3通りの方法でDeepCrawlにサイトマップURLを検出させることができます。

  1. /robots.txtファイルが参照するXMLサイトマップを利用する(デフォルト)
  2. 手動でDeepCrawlにXMLサイトマップのURLをコピー&ペーストする
  3. 手動でDeepCrawlに.XMLまたは.TXTファイルをアップロードする


 

3−1.Robot.txtファイル内のXMLサイトマップを使用する場合

デフォルトでは、DeepCrawlはサイトマップのデータソースを選択する際、/robots.txtファイル内のXMLサイトマップURLを検出します。

つまり、/ robots.txtに含まれるサイトマップURLは全て、DeepCrawlがクロールするサイトマップのリストに自動的に取り込まれるということになります。

たとえば、次のような/robots.txtファイルがあるとします。

ユーザーエージェント:*

サイトマップ:https : //www.example.com/sitemap_index.xml

DeepCrawlはサイトマップインデックスを検出し、そのファイル内に含まれるすべてのXMLサイトマップをクロールします。この例では、そのサイトマップインデックスに含まれていないサイトマップは、DeepCrawlによって検出およびクロールされません。

今後、DeepCrawlにrobots.txtファイル内のXMLサイトマップを検出させたくない場合は、ソース設定で選択状態を解除します。
 

3−2.手動でサイトマップURLを追加する場合

/robots.txtでXMLサイトマップが見つからない場合、以下の手順でDeepCrawlにサイトマップを手動追加することができます。

  1. すべてのXMLサイトマップのリストを作成します。
  2. すべてのXMLサイトマップのURLをコピーし、入力フォームに貼り付けます。
  3. [サイトマップを追加]ボタンをクリックします。

新しいサイトマップが手動で追加されると、DeepCrawlが検出およびクロールするXMLサイトマップのリストに追加されます。

リストが作成されると、DeepCrawlのプロジェクトでクロールするファイルを選択または選択解除することができます。

これは、アップロードされたすべてのサイトマップをクロールの対象としたくない場合に便利です。
 

3−3.手動でサイトマップファイルをアップロードする場合

DeepCrawlではXMLサイトマップとして使用できる.xmlおよび.txtファイルをアップロードすることも可能です。

ウェブ開発やテクニカルSEOチームがサイトマップを公開する前にテストしたい場合に便利です。

ファイルのアップロード方法:

  1. .xmlまたは.txtサイトマップに含みたいURLのリストを作成します。
  2. XMLサイトマップファイルまたは.txtファイルを作成し、検索エンジンにクロールさせたいURLを含めるようにします(サイトマップ作成の適切なガイドラインに従ってください)。
  3. サイトマップファイルをDeepCrawlにアップロードします(ファイルのアップロードは一度につき100MBまで可能です。gzip圧縮ファイルもアップロード可能です)。

ファイルがアップロードされると、DeepCrawlはサイトマップのファイル名とファイル拡張子をリストに表示します。

アップロードしたファイルのリストは、DeepCrawlのソース設定から編集できます。

  1. ファイルをダウンロードすることで、内容が正しいか確認できます。
  2. ファイルを誤ってアップロードした場合は、ゴミ箱ボタンから削除できます。
  3. チェックボックスのチェックを解除することで、プロジェクトのクロール対象から外すことができます。

 

既存のクロールプロジェクトの実行

クロールプロジェクトにXMLサイトマップが追加されたら、[保存して続行]をクリックします。

次回クロールプロジェクトが実行される際に、DeepCrawlはXMLサイトマップのデータを使用し、サイトマップレポートを作成します。


 

このページのまとめ

サイトマップは、既存のプロジェクトに追加することができ、複数の方法でアップロードすることができます。XMLサイトマップを追加する場合、以下の手順を実行します。

 

  1. プロジェクトの詳細設定に移動する。
  2. 他のデータソースと同様、プロジェクトのソース設定に移動する。
  3. XMLサイトマップを追加する方法を選択する。(手動、ファイルアップロード、またはrobots.txtの使用)
  4. ソース設定を保存し、クロール上限設定や詳細設定を行う。

 

このページを見た方へのおすすめガイド

Author

Adam Gent
Adam Gent

業界で8年以上の経験を持つ、検索エンジン最適化(SEO)のプロフェッショナル。長年にわたり、中小企業からFTSE 100社に入るグローバルなハイストリートブランドまで、さまざまなクライアントを成功に導いてきた。

ご質問はありますか?

どのプランにするかご検討中の場合は、お問い合わせページからご連絡ください。ご質問があれば喜んでお答えします。

メッセージを送信する