新しいクロールプロジェクトへXMLサイトマップを追加する方法

Adam Gent
Adam Gent

On 28th June 2019 • 0 min read

 

DeepCrawlを使用すると、XMLサイトマップおよびサイトマップファイル中のURLをクロールできます。

以下では、新規クロールプロジェクトにXMLサイトマップを設定する手順を紹介します
 

1.プロジェクトの新規作成

DeepCrawlで新たにプロジェクトを作成します。

XMLサイトマップのファイルがあるプライマリドメインと該当プロジェクト名を入力してください(ページレンダリングサービスを利用するには、[Javascriptレンダリングを有効にする]にチェックを入れてください)。


 

2.ソース設定

[ソース]設定で、[サイトマップ]を選択します。DeepCrawlは、デフォルトでは/robots.txtファイルを使用してXMLサイトマップを検出およびクロールします。


 

3.DeepCrawlへのXMLサイトマップの追加

DeepCrawlのクロールプロジェクトにサイトマップURLを追加する際、以下3通りの方法でDeepCrawlはサイトマップを検出します。

  1. /robots.txtファイルが参照するXMLサイトマップを利用する(デフォルト設定)
  2. /robots.txtファイルが参照するXMLサイトマップを利用する(デフォルト設定)
  3. 手動でDeepCrawlに.xmlまたは.txtのファイルをアップロードする

3−1.Robot.txtファイル内のXMLサイトマップを使用する場合

DeepCrawlはサイトマップを選択する際、デフォルトでは、/robots.txtファイル内のXMLサイトマップのURLを検出します。

つまり、/robots.txtに含まれるサイトマップURLは全て、DeepCrawlがクロールするサイトマップのリストに自動的に取り込まれることになります。

たとえば、次のような/robots.txtファイルがあるとします。

ユーザーエージェント:*
サイトマップ:https : //www.example.com/sitemap_index.xml

DeepCrawlはサイトマップインデックスを検出し、そのファイル内に含まれるすべてのXMLサイトマップをクロールします。この例では、そのサイトマップインデックスに含まれていないサイトマップは、DeepCrawlによって検出およびクロールされません。

今後、DeepCrawlにrobots.txtファイル内のXMLサイトマップを検出させたくない場合は、ソース設定で選択を解除してください。

3−2.手動でサイトマップURLを追加する場合

/robots.txtでXMLサイトマップが見つからない場合、以下の手順でDeepCrawlにサイトマップを手動で追加してください。
サイトマップを手動で追加する方法:

  1. DeepCrawlにサイトマップを手動で追加
  2. すべてのXMLサイトマップのURLをコピーし、入力フォームに貼り付けます。
  3. [サイトマップを追加]ボタンをクリックします。

新しいサイトマップが手動で追加されると、DeepCrawlが検出およびクロールするXMLサイトマップのリストに追加されます。

リスト作成後、DeepCrawlのプロジェクトでクロールするファイルを選択または選択解除することができます。

これは、アップロードされたすべてのサイトマップをクロールしたくない場合に便利です。

3−3.手動でサイトマップファイルをアップロードする場合

DeepCrawlではXMLサイトマップとして使用できる.XMLおよび.TXTファイルをアップロードすることも可能です。
ウェブ開発や技術的なSEOチームがサイトマップを公開する前にテストしたい場合に便利です。
ファイルのアップロード方法:

  1. .xmlまたは.txtサイトマップに含めるURLのリストを作成します。
  2. XMLサイトマップファイルまたは.txtファイルを作成し、検索エンジンにクロールさせたいURLを含めるようにします(サイトマップのベストプラクティスガイドラインに従ってください)。
  3. サイトマップファイルをDeepCrawlにアップロードします(ファイルのアップロードは一度につき100MBまで可能です。gzip圧縮ファイルもアップロード可能です)。

アップロードしたファイルのリストは、DeepCrawlのソース設定から編集できます。

  1. ファイルをダウンロードすることで、内容が正しいか確認できます。
  2. ファイルを間違えてアップロードした場合は、ゴミ箱ボタンから削除できます。
  3. チェックボックスのチェックを解除することで、プロジェクトのクロール対象から外すことができます。

 

4.クロールプロジェクトの実行

XMLサイトマップをクロールプロジェクトに追加したら、起動タイミングやその他詳細設定を行って保存します。
クロールを起動し、クロールに追加したXMLサイトマップのデータが表示されることを確認してください。
 

このページのまとめ

サイトマップは、既存のプロジェクトに追加することができ、複数の方法でアップロードすることができます。XMLサイトマップを追加する場合、以下の手順を実行します。

  1. 新規プロジェクトを作成する
  2. 他のデータソースと同様、プロジェクトのソース設定でサイトマップを選択する。
  3. XMLサイトマップを追加する方法を選ぶ(手動追加、ファイルアップロード、またはrobots.txtの使用)
  4. ソース設定を保存し、クロール上限設定や詳細設定を行う。

 

関連ガイド

Get the knowledge and inspiration you need to build a profitable business - straight to your inbox.

Subscribe today