WordPressのRobots.txtファイルにルールを作成・追加する方法

もし検索エンジンによるウェブサイトへのアクセス作成 robots.txt ファイルが最初のステップです。これはASCIIのテキストファイルで、検索エンジンにどのページがインデックスされ、どのページがインデックスされるべきでないかを伝えます。

正しい編集 robots.txt ファイルは、サイトのSEOに大きな影響を与え、サイトの可視性を向上させ、また機密ファイルを保護します。

robots.txtファイルとは何ですか？

robots.txt ファイルは、検索エンジンのクローラー用のルールファイルで、ウェブサイトのどの部分をクローラーに公開し、どの部分を立ち入り禁止にするかを定義します。適切な設定を行うことで、ウェブサイトのコンテンツインデックス戦略をより適切に管理することができます。

robots.txtファイルを作成し、カスタマイズする方法は？

1.理解 robots.txt ドキュメントの基本構文ルール
2.サイトのニーズに応じて、許可または禁止するルールを追加します。
3.検索エンジンが正しく読めるように、ファイルをウェブサイトのルートディレクトリにアップロードします。

robots.txtファイルとは何ですか？

robots.txt は単純なテキストファイルで、メッセージをウェブクローラー(検索エンジンのロボットなど）は、ウェブサイトのどの部分がクロール可能で、どの部分を隠す必要があるかを示します。これにより、公開すべきでないページやファイルを検索エンジンがインデックスしないようにし、サイトのプライバシーとコンテンツのセキュリティを保護します。

デフォルトでは robots.txt ファイルをパスで指定します：www.yourdomain.com/robots.txt.カスタム robots.txt ファイルを使用すると、デフォルトのファイルを置き換えることができ、検索エンジンにインデックスされないファイルやページをより正確に制御することができます。

WordPressのrobots.txtファイルの場所

robots.txt このファイルは通常、ウェブサイトのルートディレクトリにあります。 robots.txt ファイルを手動で作成しなければ、実際にはサーバーに保存されません。

ウェブサイトのrobots.txtファイルを見るには？

1.ブラウザを開きます。

2.アドレスバーに https://您的域名/robots.txt そして訪れてください。

• ファイルが存在する場合、ブラウザは次のように表示します。 robots.txt ファイルの内容。

• コンテンツが表示されない場合、サイトはまだ作成されていません。 robots.txt ドキュメンテーション

これは、カスタム robots.txt ファイルを使用して、ウェブサイトのコンテンツへの検索エンジンのアクセスを正確に管理します。

robots.txtファイルのルールを理解しましょう

robots.txt ファイル中のディレクティブはウェブクローラ (検索エンジンロボットなど) の動作を定義します。ディレクティブは主に二つの部分から成ります：

1. ユーザーエージェント: ルールが適用されるクローラー（Googlebotなど）を指定します。

2. 不許可クロールを許可しないページやディレクトリを指定します。

例

ユーザーエージェント: *
不許可: /wp-admin/

このコードは、すべてのクローラーにクロールを無効にするよう指示します。 /wp-admin/ カタログはご覧いただけますが、その他のエリアには通常通りアクセスできます。

正しい理解と使用 robots.txt ファイル内のルールは非常に重要です。設定を誤ると、検索エンジンがサイトの重要なページにアクセスできなくなるなど、意図しない結果を招く可能性があります。

以下は一般的なものです。 robots.txt ルールとその使い方の簡単な説明：

これらのルールを適切に設定することで、クローラーの挙動をより適切に管理し、機密コンテンツのプライバシーを保護しながらSEO結果を向上させることができます。

WordPressのrobots.txtファイルの作成方法

robots.txtファイルの作成にはいくつかの方法がありますが、この記事では2つの簡単な方法を紹介します：

方法1：プラグインを使ってrobots.txtファイルを編集します。

類似 ダブルPCコード 歌で応える 仮想Robots.txt このようなプラグインは、コードを直接書くことなく簡単に管理できます。 robots.txt ドキュメントプラグインをインストールし、設定画面からカスタムルールを追加するだけです。この方法は使いやすく、初心者に最適です。

WPCodeによるrobots.txtファイルの編集

1.WordPressのダッシュボードで プラグイン > プラグインのインストール ページを検索してインストールします。 ダブルPCコード プラグイン。

2.インストールが完了したら コードスニペット オプションをクリックします。 ファイルエディタ.

3. ファイルエディタ での robots.txt ファイルオプション。

4.要件に従って文書の内容を変更し、変更を保存してテストします。

仮想Robots.txtによるrobots.txtファイルの編集

1. プラグイン > プラグインのインストール ページを検索してインストールします。 仮想Robots.txt プラグイン。

2.インストールが完了したら、プラグインの セットアップ ページ

3.プラグインが提供するデフォルトルールを表示するか、必要に応じてカスタムルールを追加します。

4.変更を保存し robots.txt この文書はお客様のニーズにお応えするものです。

これらのプラグインを使用すると、管理が簡単になります。 robots.txt ファイルを作成し、さまざまなウェブサイトのニーズに適応させながら、検索エンジンのクローラーの動作を適切に制御します。

方法2：FTPでWordPressのrobots.txtファイルを作成し、アップロードします。

より直接的なコントロール robots.txt ファイルを作成するには、テキストエディタで物理的なファイルを作成し、FTPを使用してアップロードします。以下に正確な手順を示します：

robots.txtファイルの作成

1.テキストエディタ（メモ帳など）を開きます。

2.必要なルールの準備例えば

3.ドキュメントを robots.txt.

ウェブサイトのルート・ディレクトリにアップロードします。

1.FTPユーティリティ(FileZillaなど)またはコントロールパネル(たとえばパゴダ等）を使ってウェブサーバーに接続します。

2.サイトのルート・ディレクトリ（通常は パブリック_html もしかしたら www (フォルダ）。

3.作成したばかりの robots.txt ファイルはルートディレクトリにアップロードされます。

終了後 robots.txt このファイルは有効になります。 https://您的域名/robots.txt を使用して、ファイルの内容が正しく表示されているかどうかを確認します。このようにして、ファイルの内容とルールを完全に制御することができます。

WordPressのrobots.txtへのルールの追加

良いアイデアを生み出す robots.txt ファイルの後、特定の目標を達成するために、必要に応じて様々なルールを追加することができます。以下は、一般的な使用方法とコード例です：

1.サイト全体のクロールをブロック

ある robots.txt 検索エンジンがサイト全体をクロールしないようにするために、次のコードをファイルに追加します：

ユーザーエージェント: *
不許可: /

2.特定のクローラーによるアクセスをブロック

以下のコードを追加して、特定のクローラー（例：Dotbot）からのアクセスをブロックします：

ユーザーエージェント: Dotbot
不許可: /

3.特定のフォルダやファイルがクロールされないようにブロックします。

次のコードは、検索エンジンが特定のフォルダやファイルをクロールするのを防ぎます：

ユーザーエージェント: *
不許可: /private-folder/

4.すべてのクローラーのアクセスを許可します。

以下のコードは、すべてのクローラーがサイト上のすべてのコンテンツにアクセスできるようにします：

ユーザーエージェント: *
不許可

5.禁止フォルダ内の特定ファイルへのアクセス許可

以下のコードは、クローラーが禁止フォルダ内の特定のファイルにアクセスできるようにするものです：

ユーザーエージェント: *
不許可: /private-folder/
許可：/private-folder/public-file.html

6.WordPressの検索結果ページのクロールをブロック

以下のコードは、クローラーがWordPressの検索結果ページをクロールしないようにします：

ユーザーエージェント: *
許可しない: /?s=

7.クローラーごとに異なるルールを設定

以下のコードでは、クローラーごとに異なるルールを設定しています：

ユーザーエージェント: Googlebot
許可しない: /no-google/

ユーザーエージェント: Bingbot
不許可: /no-bing/

8.GPTBotによるウェブサイトコンテンツのクロールをブロック

次のコードは、GPTBotがあなたのウェブサイトのコンテンツをクロールするのを防ぎます：

ユーザーエージェント: GPTBot
不許可: /

これらの例は robots.txt このルールは、サイトのSEO戦略に柔軟に対応することができ、検索エンジンの動作をより適切に管理し、サイトのコンテンツを保護し、検索順位を最適化します。

robots.txtファイルでユーザーエージェントを指定します。

ルールにユーザーエージェントを指定することで、特定のクローラーを対象としたルールを設定することができます。さらに、ワイルドカードを使用することで、サイトのさまざまな部分へのクローラのアクセスをより柔軟に管理することができます。

1.robots.txtファイルにワイルドカードを使用します。

ワイルドカードは、パターンに基づいて広範または特定のルールを設定することができます。

2.アスタリスク（*）ワイルドカードの使用

アスタリスク（*）は任意のユーザーエージェントを示し、すべてのクローラに適用されます：

ユーザーエージェント: *
許可しない: /private/

3.ドル記号（$）ワイルドカードの使用

ドル記号（$）はURLの終わりを示し、特定のURLパターンに一致させるために使用されます：

ユーザーエージェント: *
不許可: /*?/*?

robots.txtファイルのテスト方法

を作成または編集する場合 robots.txt ファイルを作成した直後に、そのファイルが正しいかどうかを検証することは非常に重要です。これは以下のツールを使って検証できます：

1. Googleサーチコンソール
だす robots.txt ドキュメントを作成し、期待されるルールに準拠しているかどうかをチェックします。

2. 専用検証ツール
のようなツールを使用します。 テクニカルサイト そのような検証のためのオンラインツール。

検証ステップ：

1.ウェブサイトのURLを入力します（例． https://yourdomain.com/robots.txt).

2.ドロップダウンメニューから、関心のあるクローラーまたはユーザーエージェントを選択します。

3.クリック だす ボタンをクリックして検証を開始します。

これらのステップを完了すると、簡単に確認できます。 robots.txt ファイルが正しく設定されていることを確認し、設定されたルールに従ってクローラーが実行されるようにします。

概要

こなす robots.txt ドキュメンテーションは、WordPressウェブサイトのSEOを最適化するための重要な要素です。上記のガイドラインに従うことで、カスタマイズされた robots.txt ファイルは、ウェブサイトの可視性を向上させ、クロールからウェブサイトの機密領域を保護するためのものです。