Crawler (クローラー)
ウェブクローラーは、よく bot や robot と呼ばれ、ウェブページからデータを収集するために自動的にウェブを閲覧するものです。一般的に、 (Google や Bing などの) 検索エンジンは、クローラーを用いてインデックスを構築します。
このページはコミュニティーの尽力で英語から翻訳されました。MDN Web Docs コミュニティーについてもっと知り、仲間になるにはこちらから。
ウェブクローラーは、よく bot や robot と呼ばれ、ウェブページからデータを収集するために自動的にウェブを閲覧するものです。一般的に、 (Google や Bing などの) 検索エンジンは、クローラーを用いてインデックスを構築します。