失敗したウェブサイトのクロールを修正する方法
サイト（またはサイトのセクション）でクロールを実行しているときに、URLの最初のレベルを超えてクロールが進行していない場合があります。これが発生すると、ベースドメイン、つまり開始URLのみしかクロールされていないことになります。
クロールを特定のページに制限する
サイト全体をクロールする代わりに、Webサイトの特定のセクションを確認または分析することをお勧めします。
DeepCrawlでWebサイトを情報収集する方法
ウェブサイトの頻繁かつターゲットを絞ったクロールを実行することは、ウェブサイトの技術的な健全性を改善し、オーガニック検索順位を改善する重要な役割です。
AJAXで実装されたアプリをクロールする方法
このガイドでは、以下の点についてご説明します。1.AJAXとは？2.AJAXのクロールスキームはどのように機能するか3.DeepCrawlでAJAXで実装されたサイトをクロールするための設定方法