最初に包含とランク付けの意味を紹介し、次にロボットプロトコルの役割を紹介します。
次のような状況に気づいたのでしょうか。何かを知りたいときは、まずBaiduを使って、必要な情報があるかどうかを確認します。
たとえば、「Baiduで上海が最も楽しい場所はどこですか？
最初の数か所は基本的に広告スポットです。これにはBaiduの入札ランキングとナチュラルランキングが含まれます。将来はブログで共有し
ますが、後ろに戻ってください。、これらの後の記事の後ろに「広告」の尾がないことがわかります。これらの記事は、Baiduによって含まれ、Baiduホームページでランキングを持っている投稿です。これにより、今日の質問、つまり、包含、ランキング、およびロボットが導き出されます協定は何をしなければならないのですか？
インターネット上には無数の記事が毎日作成されているため、「上海はどこが一番楽しいか」などの記事を掲載しているウェブサイトが多数あり、特に一部の観光ウェブサイトにはもっと多くのウェブサイトがあります。では、なぜBaiduで「上海はどこが一番楽しい」と検索するのですか？広告スポットのある投稿を除いて、Baidu広告スポットのない投稿はホームページに表示されますか？実際、これらの投稿はBaiduによって含まれ、それらが含まれて初めて、Baiduによってホームページにランク付けできます。
たとえば、クラスでその年の優れたクラスリーダーを選択するようなものです。クラスリーダーである必要があること、クラスリーダーまたはパーティーの秘書であることが条件であり、優れたクラスリーダーとして選択されるための前提条件を備えている必要があります。含まれているクラスリーダーであることを、含まれている用語で表すことができます。そして、クラスリーダーの立場で、クラスの生徒と教師の投票を通じて、優れたクラスリーダーとして認められた2人が選ばれました。ランキングという点では、この2人の生徒がランキングを持っている場合、優れたクラスリーダーになると言えます。クラスリーダーであるにもかかわらず、優れたクラスリーダーとして評価されていない人は、来年も優れたクラスリーダーになる可能性があります。クラスリーダーではない学生も、来年クラスリーダーになる、つまり含まれる場合があります。
したがって、例を通して、ランキングがある場合は必ずしもランキングがあるとは限らず、バイドゥによって確実にランキングが含まれ、ランキングが固定されておらず、包含が固定されていないことがわかります。
ここに、あなたの投稿が含まれているかどうかを確認する方法の散在する紹介があります。バイドゥを開き、バイドゥの検索ボックスにURLを入力します。見つかった場合は含まれていますが、含まれていない場合は含まれています。この方法では、少数の投稿をチェックできます。データが大きい場合は、ツールを使用する必要があります。インターネットにはそのようなツールが多数あります。自分で検索できます。ランキングは、手動またはツールで確認することもできます。
最後に、ロボットのプロトコルについて話しましょう。Baiduは大きなスパイダーです。毎日多数のWebサイトをクロールし、投稿を収集して、良かったと判断した投稿を収集します。含まれている投稿から高品質の投稿を選択し、Baiduホームページのユーザーに表示します。ユーザーは検索後に興味を持つ可能性があります。クリックして投稿を閲覧します。では、バイドゥがサイトをクロールするときに、どのコンテンツをクロールするのでしょうか。ロボットプロトコルは、ウェブサイトによって記述されたプロトコルであり、バイドゥがウェブサイト上でクロールできるコンテンツとクロールできないコンテンツを規定しています。もちろん、これは単なる合意にすぎません。バイドゥはこれに完全には準拠していませんが、基本的には準拠しています。
たとえば、淘宝網のロボット契約を確認すると、百度はクロールできないと規定されていますが、百度で淘宝網を検索することはできます。Baiduは、中国で最大の中国の検索エンジンであるため、淘宝網を検索することさえできないと確信していません。ユーザーは、淘宝網を検索することさえできないと感じているため、ロボット合意に完全には準拠していません。
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
淘宝網のロボット合意から、それは基本的にUser-Agent、Allow、Disallowの3つの単語に要約できることがわかります。記号スラッシュ（/）。
それらの意味を紹介させてください。
User-Agent：ロボットを表します
などのUser-Agent：Baiduspiderは、 Baiduのクモロボットを意味します。
許可：ロボットがアクセスを許可されているページを示します。
許可：/は、Webサイト全体が許可されることを意味します。
許可しない：ロボットがアクセスを許可されていないページを示します。
許可しない：/ウェブサイト全体をブロックすることを意味します
以下はBaixing.comのロボット契約の一部の傍受です。特定の意味を一緒に分析できます。
User-Agent: Mediapartners-Google #用户：谷歌机器人
Allow: / #允许谷歌爬取百姓网
User-Agent: AdsBot-Google #用户：谷歌机器人
Allow: / #允许谷歌爬取百姓网
User-agent: Yahoo! Slurp China # 用户雅虎机器人
Disallow: / #不允许雅虎爬取百姓网
User-Agent: * #允许所有的搜索引擎可以按照以下限制语法进行合理的抓取网站中的文件、目录。
Disallow: /*?*#禁止访问网站中所有包含问号 (?) 的网址。
Disallow: /*%3F*#禁止访问网站中所有包含%3F的网站
Disallow: /autocomplete/ #禁止访问此目录以及其中的所有内容
Disallow: /arch/ #禁止访问此目录以及其中的所有内容
Disallow: /*/t*.html #禁止访问此网站中所有文件夹下以t字母开始命名的html文件
Disallow: /gifts/murmur#禁止访问murmur目录下的所有文件
これがロボットの使用方法です。必要に応じてルールを設定し、クローラーがWebサイト上のより効果的なコンテンツをクロールできるようにして、Webサイト上の投稿数を増やします。
概要：最初にロボットの合意を作成し、スパイダーがWebサイトをクロールします。その後、Webサイトの投稿を含めることができ、Baiduホームページでランク付けすることができます。ユーザーはキーワードをクリックしてホームページに投稿を表示し、クリックすることができます。トラフィックがあれば、ユーザーはクリックすることで引き続き顧客獲得、コンバージョン率、維持率などを追跡できます。