Googleは最近、ユーザーがGoogleにHTTP経由でアクセスしようとする場合に、ブラウザが強制的にHTTPSへリダイレクトする技術であるHTTP Strict Transport Security (HSTS)をサポートすることを発表しました
https://security.googleblog.com/2016/07/bringing-hsts-to-wwwgooglecom.html（英語）
クローラーはこの技術をHTTPからHTTPSへのドメインレベルのリダイレクトだと認識するため、HSTSはサイトのHTTPSへの移行に役立ちます。
サイトのレスポンスヘッダーにHSTSタグを含めることで、、max-ageの時間指定や、任意でincludeSubDomainsの指定ができます。例：
Strict-Transport-Security: max-age=16070400; includeSubDomains
HSTSタグは、すべてのブラウザやクローラーに対してHTTPS上の同じURLをリクエストするよう指示します。このタグがURL上で検出されると、全ドメイン上のすべてのURLに適用されます。また、任意のincludeSubdomainオプションを使用すると、それがプライマリドメインの全てのサブドメインに対しても適用されるようになります。
できるだけ早くタグが検出されるように、すべてのURLにタグを実装することをおすすめします。
max-ageの値は、このタグの有効期限のことです。これを過ぎると、ブラウザやクローラーがHTTPでのURLリクエストを開始する可能性があります。
HTTPSへの永続的な移行を行った場合、ここには高い値を設定してください。
サイトがHTTPSで完全に機能する前にこのタグを使用すると、問題が発生する可能性があります。
DeepCrawl２は、すでにHSTSタグを検出する機能を備えており、HSTSタグのあるすべてのURLを”HSTSタグのあるページ”レポートやすべての指標の下のページ詳細ビューで確認することができます。
