Cara Mengoptimalkan WordPress Robots.txt Anda untuk SEO

Baru-baru ini salah satu pembaca kami meminta kami tips tentang cara mengoptimalkan file robots.txt untuk meningkatkan SEO. File Robots.txt memberi tahu mesin pencari cara merayapi situs web Anda yang menjadikannya alat SEO yang sangat kuat. Pada artikel ini, kami akan menunjukkan cara membuat file robots.txt yang sempurna untuk SEO.

Apa itu file robots.txt?

Robots.txt adalah file teks yang dapat dibuat pemilik situs web untuk memberi tahu bot mesin pencari cara merayapi dan mengindeks halaman di situs mereka.

Biasanya disimpan di direktori root yang juga dikenal sebagai folder utama situs web Anda. Format dasar untuk file robots.txt terlihat seperti ini:

1
2
3
4
5
6
7
8
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]

Anda dapat memiliki beberapa baris instruksi untuk membolehkan atau melarang URL tertentu dan menambahkan beberapa peta situs. Jika Anda tidak melarang URL, maka bot mesin pencari menganggap bahwa mereka diizinkan untuk menjelajahinya.

Berikut ini contoh file contoh robots.txt:

1
2
3
4
5
6
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml

Pada contoh robots.txt di atas, kami telah mengizinkan mesin pencari untuk merayapi dan mengindeks file dalam folder unggahan WordPress kami.

Setelah itu, kami telah melarang bot pencarian untuk merayapi dan mengindeks plugin dan folder admin WordPress.

Terakhir, kami telah menyediakan URL sitemap XML kami.

Apakah Anda Membutuhkan File Robots.txt untuk Situs WordPress Anda?

Jika Anda tidak memiliki file robots.txt, mesin pencari akan tetap merangkak dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin pencari halaman atau folder mana yang tidak boleh mereka jelajahi.

Ini tidak akan memiliki banyak dampak ketika Anda pertama kali memulai blog dan tidak memiliki banyak konten.

Namun begitu situs web Anda tumbuh dan Anda memiliki banyak konten, maka Anda mungkin ingin memiliki kontrol yang lebih baik atas bagaimana situs web Anda dirayapi dan diindeks.

Inilah sebabnya.

Bot pencarian memiliki kuota perayapan untuk setiap situs web.

Ini berarti mereka merayapi sejumlah halaman tertentu selama sesi perayapan. Jika mereka tidak selesai merangkak semua halaman di situs Anda, maka mereka akan kembali dan melanjutkan merangkak di sesi berikutnya.

Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaikinya dengan melarang bot pencarian untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress Anda, file plugin, dan folder tema.

Dengan menolak halaman yang tidak perlu, Anda menyimpan kuota perayapan Anda. Ini membantu mesin pencari merayapi lebih banyak halaman di situs Anda dan mengindeksnya secepat mungkin.

Alasan lain yang baik untuk menggunakan file robots.txt adalah ketika Anda ingin menghentikan mesin pencari mengindeks posting atau halaman di situs web Anda.

Ini bukan cara paling aman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu Anda mencegahnya muncul di hasil pencarian.

Seperti Apa Tampilan File Robots.txt yang Ideal?

Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Konten mereka dapat bervariasi, tergantung pada kebutuhan situs tertentu:

1
2
3
4
5
User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot untuk mengindeks semua konten dan memberikan mereka tautan ke peta situs XML situs web.

Untuk situs WordPress, kami merekomendasikan aturan berikut dalam file robots.txt:

1
2
3
4
5
6
7
8
9
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Ini melarang bot pencarian dari pengindeksan file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan peta situs ke file robots.txt, Anda memudahkan Google bot untuk menemukan semua halaman di situs Anda.

Sekarang Anda tahu seperti apa bentuk file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana cara membuat file Robots.txt di WordPress?

Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengedit File Robots.txt Menggunakan Yoast SEO

Jika Anda menggunakan plugin Yoast SEO, maka ia datang dengan generator file robots.txt.

Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt langsung dari area admin WordPress Anda.

Cukup buka halaman SEO »Tools di admin WordPress Anda dan klik tautan File Editor.

Di halaman berikutnya, halaman SEO Yoast akan menampilkan file robots.txt Anda yang sudah ada.

Jika Anda tidak memiliki file robots.txt, maka Yoast SEO akan menghasilkan file robots.txt untuk Anda.

Secara default, pembuat file robots.txt Yoast SEO akan menambahkan aturan berikut ke file robots.txt Anda:

1
2
User-agent: *
Disallow: /

Penting bahwa Anda menghapus teks ini karena memblokir semua mesin pencari dari merayapi situs web Anda.

Setelah menghapus teks default, Anda dapat melanjutkan dan menambahkan aturan robots.txt Anda sendiri. Kami sarankan untuk menggunakan format robots.txt yang ideal yang kami bagikan di atas.

Setelah selesai, jangan lupa klik tombol ‘Simpan file robots.txt’ untuk menyimpan perubahan Anda.

Metode 2. Edit file Robots.txt Secara Manual Menggunakan FTP

Untuk metode ini, Anda harus menggunakan klien FTP untuk mengedit file robots.txt.

Cukup sambungkan ke akun hosting WordPress Anda menggunakan klien FTP.

Setelah masuk, Anda akan dapat melihat file robots.txt di folder root situs web Anda.

Jika Anda tidak melihatnya, maka kemungkinan Anda tidak memiliki file robots.txt. Dalam hal ini, Anda bisa langsung membuat dan membuat satu.

Robots.txt adalah file teks biasa, yang berarti Anda dapat mengunduhnya ke komputer dan mengeditnya menggunakan editor teks biasa seperti Notepad atau TextEdit.

Setelah menyimpan perubahan Anda, Anda dapat mengunggahnya kembali ke folder root situs web Anda.

Bagaimana Cara Menguji File Robots.txt Anda?

Setelah Anda membuat file robots.txt Anda, selalu ide yang baik untuk mengujinya menggunakan alat penguji robots.txt.

Ada banyak alat penguji robots.txt di luar sana, tetapi kami sarankan untuk menggunakan yang ada di dalam Google Search Console.

Cukup masuk ke akun Google Search Console Anda, lalu beralih ke situs web konsol pencarian Google yang lama.

Ini akan membawa Anda ke antarmuka Google Search Console yang lama. Dari sini Anda perlu meluncurkan alat penguji robots.txt yang terletak di bawah menu ‘Perayapan’.

Alat ini akan secara otomatis mengambil file robots.txt situs web Anda dan menyoroti kesalahan dan peringatan jika ditemukan.

Pikiran terakhir

Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin pencari merayapi halaman yang tidak tersedia untuk umum. Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

Sebuah mitos umum di antara para pakar SEO adalah bahwa memblokir kategori WordPress, tag, dan halaman arsip akan meningkatkan tingkat perayapan dan menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Kami menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk situs web Anda.

Kami harap artikel ini membantu Anda mempelajari cara mengoptimalkan file WordPress robots.txt Anda untuk SEO. Anda juga mungkin ingin melihat panduan SEO WordPress utama kami dan alat SEO WordPress terbaik untuk mengembangkan situs web Anda.

Jika Anda menyukai artikel ini, silakan berlangganan YouTube Channel kami untuk tutorial video WordPress. Anda juga dapat menemukan kami di Twitter dan Facebook.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *