当社では、SEOの観点でデータポータルを活用する利点を主張する記事をいくつも公開してきました。およそ2年前にローンチされて以降データポータルは事実上、業界をリードするのダッシュボードツール、そして分析ツールの地位を確立しました。以前は、DeepCrawlデータをデータポータルに取り込むには回避策をとる必要がありましたが、今はそのプロセスを完全にシームレスにする公式コネクタがリリースされています。
DeepCrawlのデータポータルコネクタを使用すると、ダッシュボード内で大部分のDeepCrawlデータに直接アクセスすることができます。すべてのデータがリアルタイムで取得されるので、新規クロールが実行されたりアカウントに新たなプロジェクトが追加されるとダッシュボードが自動的に更新されるということになります。ダッシュボードは、組織内の普段DeepCrawlを使用していない人にも共有することができます。
データポータルコネクタ
DeepCrawlのデータポータルコネクタは、Googleの公式パートナーコネクタのためデータポータルコネクタ一覧で見つけることができます。ただ、DeepCrawlの無償テンプレートの使用を検討されている場合、このページ上もしくはDeepCrawlサイト上のリンクからデータポータルコネクタを使用されることをお勧めいたします。（デフォルトで適切に設定済みのため）
DeepCrawlサイトからアクセスできるコネクタには ”クロール” データに適したレポートテンプレートがデフォルトで付属しています。データポータルのテンプレートの詳細については、テンプレート専用のガイドをご覧ください。
重要：サンプルのテンプレートではすべて、チェックボックス“「Crawl Selection」がレポートで変更されることを許可します”を選択する必要があります。これを行わないと、テンプレートが正常に機能しなくなります。
はじめに
上記のリンクを使用してコネクタを開くか、データポータル内で “DeepCrawl” と検索してコネクタを見つけてください。コネクタ内でご自身のアカウントが表示されない場合、カスタマーサポート担当にお問い合わせください。現時点で、”エンタープライズのみ” でデータポータルをご利用できます。
認証
Googleアカウントで初めてコネクタを使用する際、２段階の認証を行う必要があります。
最初の認証は、DeepCrawlのコネクタにお使いのGoogleアカウントの使用を許可するものです。これにより、DeepCrawlのコネクタに対してダッシュボードに必要なデータを取得するためのAPIへのアクセスが許可されます。
２つ目の認証ステップでは、DeepCrawlのAPIキーが求められます。ご自身のDeepCrawlアカウント内で新たなAPIキーを生成してください。APIキーをコネクタに入力する際、フォーマットは id:key である必要があります。例えばDeepCrawlのAPI IDが 2438 でAPIキーが “abcdef123” の場合、 2438:abcdef123 と入力してください。うまくいかない場合、このAPIキーの誤入力が原因であることがほとんどですのでご注意ください。
お客様のアカウントとデータのセキュリティを保護するために、APIキーは一度生成され、生成時に最初に提供された後は、明らかにしたり回復したりすることはできません。ただし、以前に生成したAPIキーが失われたり復元できなくなったりした場合には、1つのアカウントにつき最大2つの有効なAPIキーまで、無限にAPIキーを生成することができます。
各Googleアカウントには、DeepCrawlのAPIキーを１つだけ紐付けることができます。
初回のデータソース設定
アカウント
コネクタの初回読み込み時、アカウントを１つ選択する必要があります。多くのユーザーは、１つのアカウントにしかアクセスできません。アカウントが表示されない、またはアカウント名が不明な場合、カスタマーサポートにお問い合わせください。
プロジェクト
コネクタを使うと、１つのダッシュボード上に１つまたは複数のプロジェクトデータを反映することができます。最初はプロジェクトを１つだけ選択すると良いでしょう。ダッシュボード内で複数のプロジェクトを１箇所で可視化できるようになるので、“「Crawl Selection」がレポートで変更されることを許可します”を選択することをおすすめします。
データタイプ
コネクタには主に３つの使用方法があります。
- 「クロールデータ」では、クロール内の全てのレポート、それらのトレンド変化、そして各レポートに表示されるURL数などを確認できます。コネクタを初めて使用する場合や、特定のデータポイントやトレンドを把握したい期間がある場合に適しています。また、このデータタイプはDeepCrawlのセグメンテーション機能と互換性があります。
- 「問題点」では、クロールで検出された問題点をリストで表示することができます。特定のレポートを選択することはできませんが、このデータは例えば問題点を事前に把握していない中で、クロールで発見された問題点のトップ５をまとめて確認したい場合に便利です。このデータタイプはDeepCrawlのセグメンテーション機能と互換性があります。
- 「タスク」では、プロジェクト内で設定したすべてのタスクが表示されます。タスクは特定の問題点を区分したり、カスタムチャートを作成したり（タスクはサイトの特定部分へ詳細なフィルタリングが可能なため）、複数のサイト間で同じ問題点について比較したりするのに適しています。
クロールデータ
クロールデータタイプを選択すると、さらに次の３つのオプションが表示されます。
クロールの選択機能
コネクタでは、直近のクロールからデータを抽出して個別のデータポイントを作成するか、特定の日付指定でいくつかのクロールに対して時系列チャートを作成することができます。はじめてダッシュボードを作成する場合には、”Latest Crawl” を選択してください。ダッシュボード内で日付指定モードと最新クロールモードを切り替えるためには、“「Crawl Selection」がレポートで変更されることを許可します“ を選択しておく必要があります。
セグメンテーション機能
アカウントやプロジェクト内でセグメンテーションを使用している場合、データポータルでセグメント用のデータを取得することができます。セグメンテーションを有効化する上で、“Use Segments” や “Use Segments with All URLs Segment ”のオプションがあります。これらのオプションを使うことですべてのセグメントが利用可能になり、２つめのオプションを使うと分割されていないデフォルトのDeepCrawlデータをもつ ”All” というセグメントを追加で作成します。これは、クロールですべてのURLをカバーするとは限らないため重要ですが、すべてのセグメント別チャートからAllセグメントをフィルターを使って除外する）必要があります。
はじめてのダッシュボード作成の場合や、明確にセグメンテーションを使用していないチャートの場合、”Use Segments” をオフにされることをおすすめします。
クロールのロールアップ機能
複数のプロジェクトからデータを取得して日付別に１つのテーブルで整理する場合、すべてのクロールが同じ日付で並ぶようなことはおそらくないため、データ分析が多少難しくなります。“Roll Crawls Up”（クロールのロールアップ）機能では、クロールの日付をすべて同日で行ったように変更することができます。ここで ”Weekly” を選択すると、指定した週に発生したすべてのクロールを、その週の特定の日付で行ったものとしてレポートします。”Monthly” を選択すると、その月に発生したすべてのクロールがその月の月初に発生したものとしてレポートします。
すべての設定が完了したら、”CONNECT” を選択してから ”CREATE REPORT” を選択してください。
例
このモードでは、特定のレポートに基づいたカスタムチャートをすばやく作成できます。
問題点
クロールに影響を与えた重要度の高い問題点を優先度順にリスト表示できるので、DeepCrawlが問題点として発見した課題に関する洞察を別の確度で分析したりそれを拡張したりできるようになります。このモードを選択すると、クロールデータのデータタイプと同じ設定オプションが表示されます。
クロールの選択機能
コネクタでは、直近のクロールからデータを抽出して個別のデータポイントを作成するか、指定した日付範囲のクロールから時系列チャートを作成することができます。はじめてダッシュボードを作成する場合には、”Latest Crawl”を選択してください。ダッシュボード内で日付指定モードと最新クロールモードを切り替えるためには、“「Crawl Selection」がレポートで変更されることを許可します“を選択しておく必要があります。
セグメンテーション機能
アカウントやプロジェクトでセグメンテーションを使用している場合、データポータルでセグメントのデータを取得することができます。セグメントを行う際は “Use Segments” や “Use Segments with All URLs Segment” のオプションがあります。これらのオプションでは、すべてのセグメントが利用可能になり、2つめのオプションではでは分割されていないデフォルトのDeepCrawlデータをが含まれる ”All” というセグメントを追加で作成します。これは、クロールですべてのURLをカバーするとは限らないという点で重要ですが、すべてのセグメント詳細チャートからAllセグメントをフィルターを使って除外する必要があります。
はじめてのダッシュボード作成の場合や、明確にセグメンテーションを使用していないチャートの場合、”Use Segments” をオフにされることをおすすめします。
クロールのロールアップ機能
複数のプロジェクトからデータを取得して日付別に１つのテーブルで整理する場合、すべてのクロールが同じ日付で並ぶようなことはおそらくないため、データ分析が多少難しくなります。“Roll Crawls Up”（クロールのロールアップ）機能では、クロールの日付をすべて同日で行ったように変更することができます。ここで ”Weekly” を選択すると、指定した週に発生したすべてのクロールを、その週の特定の日付で行ったものとしてレポートします。”Monthly” を選択すると、その月に発生したすべてのクロールがその月の月初に発生したものとしてレポートします。
すべての設定が完了したら、”CONNECT” を選択してから ”CREATE REPORT” を選択してください。
例
問題点データでは、クロールで検出した優先度の高い問題点を表示することができます。
タスク
タスクのデータタイプを使用すると、アカウント内で設定されているタスクにアクセスすることができます。
クロール
コネクタでは、直近のクロールからデータを抽出して個別のデータポイントを作成するか、特定の日付を指定してクロールから時系列チャートを作成することができます。はじめてダッシュボードを作成する場合には、”Latest Crawl” を選択してください。同様に、後で柔軟にモード切り替えができるよう、“「Crawl Selection」がレポートで変更されることを許可します“ を選択することをおすすめしています。
例
日付範囲の指定
データポータルは連続したデータ（＝絶えず変化するデータ）を扱うために設計されているのに対し、DeepCrawlは特定の間隔で区切って（日次、週次、月次など）データを生成します。この違いゆえにデータポータルでの日付指定が少々複雑化することがあり、注意しないと、複数回のクロールの合計値が表示されてしまうことになりかねません。SEO担当者がデータポータルの時間の考え方にうまく対処できるよう、DeepCrawlのテンプレートでは ”Crawls” セレクタが追加されています。これにより、コネクタに対してクロール範囲のデータ（ダッシュボードの”Date”で定義）か、直近のクロールデータのみのいずれかを反映させることができます。
“Date Range”は、データポータルが提供する時系列チャートを作成する際、サイトの平均ページ数などの各指標を集計したい場合に便利です。
“Latest Crawl” は、実行日にかかわらず指定プロジェクトの直近のクロールデータを反映するものであり、テーブルやピボット、スコアカードなど、１つの値を表示したい場合に使用できます。
チャート別クロール選択設定
DeepCrawlのコネクタは、データの取得方法に関して、直近のクロールから取得するか、各チャートごとに指定した日付から取得するか、選択できるよう設計されています。例えば、破損ページの時間経過での変化を表示する時系列グラフや、既存の破損ページ数を表示するスコアカードを利用したい場合には、“「Crawl Selection」がレポートで変更されることを許可します”をオンにしておく必要があります。このモードをオンにすると、それぞれのチャートでデータタイプの切り替えがを新たに行うことができるようになります。
直近のクロールデータ参照時に前回のクロールデータと比較する
直近のクロールから取得したデータを参照する場合、データポイントの比較を参照しようとしていても、データポータルは常にそのクロールからのデータを表示するようになります。そして、比較項目でも常に変化が表示されないことになります。
データポータルはこのようなデータの処理を想定していないため、直近のクロールと前回のクロールの比較ができるよう、当社はコネクタにチートコードを埋め込みました。コネクタを ”Latest Crawl” モードで使用する際に、比較期間を2000年1月2日から開始するよう設定することで、データポータルが以前のクロールを使用するようにできます。
コネクタが停止する、または接続が切れる
Googleは各ユーザーに対して１日あたりの外部サービスへの最大リクエスト数に制限を設けています。この制限は、GSuiteアカウントの場合１日あたり10万リクエストで、gmail.comアカウントの場合は１日あたり2万リクエストです。また、これは全データポータルコネクタや大部分のGoogleスプレッドシート連携など、アカウントで連携するすべてのサービスに適用されます。例えば、gmail.comアカウントを使用してGoogleデータポータルのダッシュボードにDeepCrawlやGoogleアナリティクス、Salesforceを連携している場合であっても、連携全体の上限値は20,000リクエストです。
リクエスト上限に達すると、すべてのサービスが動作を停止し、ダッシュボードを使おうとするとデータポータルがエラーメッセージを表示します。制限がリセットされるとダッシュボードは通常通り動作するようになります。（Googleは毎日このリセットを行っています）
この問題への対処法としては次のようなものがあります。
- いかなるダッシュボードやデータソースも個人のGoogleアカウントで作成しない。データポータルのデータソース作成には複数のGoogleアカウントを使用する
- 多くのクライアントが使用する場合、各データソースに１つのGoogleアカウントの使用が理想的（各担当者がそれぞれのアカウントでダッシュボードを使用すると各アクセスごとに１リクエストを消費するため）
- データソース作成の際はgmail.comアカウントではなくGSuiteアカウントを使用する
未加工のURL情報を取得
このコネクタを使用すると、データポータル内でDeepCrawlの主要レポートや洞察にアクセスできるようになります。例えば、クロールで検出された壊れたページの数を取得することはできますが、壊れたページの各URLや、それらURLのHTTPステータスコードを取得することはできません。各URLやそのHTTPステータスコードのようなローデータにアクセスして分析するには、データポータルをDeepCrawlのBigQueryコネクタと連携してください。詳細については、カスタマーサポートにお問い合わせください。