クロール入門ガイド

On 18th February 2019 • 0 min read

ⅮeepCrawlは、市場で最も先進的なクローラーであり、検索マーケターにとって欠かせないツールとなっています。高度な機能、設定、レポーティングにより、ユーザーが手軽にクロールを開始することができます。

DeepCrawlでより簡単にクロールにするためには、さまざまな側面に関するガイダンスが役立つと考えました。何か私達にお手伝いできることはございませんか?

DeepCrawl crawl set up
 

1.ウェブサイトをクロールする方法は?

DeepCrawlでサイトをクロールする方法 を盛り込んだ詳細なガイドを提供しており、初めてクロールされる方にもご安心してご利用いただけます。以下ではDeepCrawlを使ったテクニカルSEOを実行する方法を記載しており、サイトの技術的な健全性とオーガニック検索でのパフォーマンスを把握するのにお役立て頂けます。

また、複数のドメインまたはサブドメインのクロールにもご興味がある場合は、そちらを作成するための個別のガイドをご用意しています。

クロールの設定ガイド


 

error
 

2.クロールエラーまたはクレジットの問題の対処法は?

クロールでエラーの発生、もしくはクロールを取得して必要なレベルのURLに到達する過程に問題がございますか?クロールの失敗のトラブルシューティングに関するガイドはこちらをご覧ください。

クロールの問題を診断する


 

DeepCrawl crawl set up - stage 3
 

3.クロール制限を使用してクレジット使用量を削減する方法は?

クロールの制限を使用することを忘れないで下さい。クロールのために使用する予算の無駄遣いには気を付けましょう。特に大規模なサイトや、価値の低いリソースがあるサイトには注意してください。URLパラメータに問題がある場合、またはAPIを使用して検索サービスのURLをその場で書き換えたい場合は、そのためのガイドページもご用意しています。

クロールの消費量を減らす


 

DeepCrawl include exclude urls
 

4.クロールのサイズと深さを変更する方法は?

サイトのURLの大小にかかわらず、ウェブサイト全体をクロールすることは常に最良のアタック計画であるとは限りません。クロールをWebサイトの特定の場所に、いつ、どのように制限するかを理解することで、DeepCrawlをより効果的に使用し、クレジットの消費を抑えることができます。

クロールのサイズと深さの制限に関するガイドは、DeepCrawlでより効率的にクロールする方法が理解頂ける優れた入門書です。

スマートなクロールを行う


 

DeepCrawl include exclude urls
 

5. 特定のページのみクロールする方法は?

サイトの特定の領域にのみクロールを集中させたい時、例えば、大規模な国際サイトの内、1つの国バージョンのみのクロールを希望される場合、URLフィルタリング、ページのグループ化、または正規表現を使用してクロールを制限する方法について学習する必要がある場合は、こちらをご覧ください。

クロールを制限する方法を学ぶ


 

DeepCrawl include exclude urls
 

6.正規表現を使用してクロールを強化する方法は?

正規表現はとっつきにくいものではありますが、しっかり理解できればDeepCrawlと共に利用することで非常に強力な手法となります。内容の薄いコンテンツを特定することから、貴社商品や類似商品の固有のデータを見つけることまで、こちらの記事 ではクロールをより有効活用するためにカスタム抽出を使う方法を詳細にご説明致します。

カスタム抽出を利用する


 

DeepCrawl include exclude urls
 

7.テストサイトをクロールする方法は?

完全な移行から簡単な更新まで、SEOのパフォーマンスに影響を与えるコードの退行や単純なバグはごく一般的に存在します。ライブサイトとテストサイトをクロールをするためのガイドに従いクロールすることにより、潜在的な問題の発生を回避できます。

テストサイトをクロールする


 

DeepCrawl include exclude urls
 

8.別のモバイルサイトにもクロールする方法は?

個別のモバイルサイトは、他のモバイル構成と比較した時、クロールが少し複雑になる場合があります。サイトの正しいバージョンに自動的に移動するモバイルユーザーエージェントのリダイレクトがある場合は、クロールをインストールすることで別のモバイルユーザーエージェントを指定する必要があります。

リリースサイトでは、セカンダリユーザーエージェントの詳細設定 をしているため、同じクロール内でデスクトップサイトとモバイルサイトをクロールできます。モバイルサイトのクロールをより一般的に掘り下げる製品ガイドも用意されています。

個別のモバイルサイトをクロールする


ご不明点がありましたら、よくある質問をご覧になるか、お気軽にお問い合わせください。ご連絡をお待ちしています。

Get the knowledge and inspiration you need to build a profitable business - straight to your inbox.

Subscribe today