Apa Itu Crawlers

Dalam konteks pencarian di Internet, crawlers, yang juga dikenal sebagai web spiders atau bots, adalah program yang terotomatisasi yang digunakan oleh mesin pencari, untuk mem-browsing secara sistematis dan meng-index konten website.

Para crawlers menelusuri hyperlinks dari halaman ke halaman, mengumpulkan informasi dan mengkoleksinya dalam sebuah index mesin pencari untuk menjadikan pengguna bisa menemukan informasi relevan dengan yang dihasilkan dari querry mesin pencarian. 

Berikut ini penjelasan yang lebih rinci:

• Automated Browsing: Crawlers adalah program komputer yang didesain untuk mengeksplorasi World Wide Web yang secara otomatis mengunjungi website-website dan mengikuti navigasi dari link-link. 
• Indexing: Suatu fungsi utama dari crawler adalah mengindex konten yang mereka temukan di berbagai website. Termasuk menganalisis teks, foto, dan data lain pada sebuah halaman dan mendatanya dalam format terstruktur yang dapat dicari dengan lebih mudah/cepat. 
• Search Engine Operation: Mesin pencari menjadikan crawler membantu membangun dan merawat database terkait halaman-halaman website. Ketika seorang pengguna melakukan pencarian, mesin pencari menggunakan index yang dia miliki untuk secara cepat mencari poisisi dan secara cepat memunculkan hasil yang paling relevan dengan pencarian. 
• Seed URLs: Crawlers biasanya memulai pergerakannya dengan sebuah daftar “seed” dari berbagai URL (website address) dan kemudian mengikuti link-link pada halaman tersebut untuk menjelajahi dan menjangkau lebih luas terkait web tersebut dan kontennya.
• Robots.txt: Sebelum melakukan crawling sebuah website, crawlers seringkali mengecek robots.txt file, yang menyediakan instruksi yang menjelaskan pada bagian mana dari sebuah situs yang mesti dikecualikan untuk di-crawling. 
• Prioritization and Efficiency: Crawlers menggunakan berbagai strategi untuk memprioritaskan urutan halaman mana yang dia crawl, menarget untuk melakukan indexing yang efisien atas konten yang paling penting dan yang rutin ter-update.

Semoga penjelasan yang diusahakan ringkas untuk efektif tentang Crawler(s) ini menjadikan Anda mudah memahami dan membantu mengalisa tahap memperbaiki performa situs Anda. Dan menghindari praktek Blackhat SEO.