Perayap adsense / Crawl ads.txt pada blogger

Artikel ini berdasarkan pengalaman yang pernah saya rasakan di blog saya ini, padahal saya sudah mengikuti anjuran dari peringatan tersebut dan hasil dari artikel - artikel di internet, bertanya grup facebook / wa dll, sampai membaca forum adsense tetapi hasilnya nihil.

Sampai akhirnya iklan pada blog saya hilang saya, perasaan kesal,kecewa timbul hmm saya sudah mentok pikirannya, gatau lagi mau bagaimana. Akirnya saya coba bertanya beberapa kali melewati email dengan mas Adhy Suryadi - Pemilik blog KompiAjaib. Dan alhamdulillah blog saya telah hilang peringatan nya di dashboard adsense.

Ada juga yang bilang jika sudah memasukkan ads.txt pada menu blog akan hilang sendiri peringatan ads.txtnya. TAPI menurutku tidak begitu cara kerja google untuk merayapi blog, blog kita haruslah memberikan akses agar blog bisa di crawl dengan memberikan beberapa perintah kemudian kita submit lagi, agar blog kita langsung di crawl.

Nah jika kalian mengikuti langkah - langkah yang akan saya berikan ini, insyaallah blog akan tercrawl oleh google dan peringatan di dashboard adsense akan hilang dalam beberapa hari BUKAN beberapa bulan.

Peringatan pada dashboard adsense tentang ads.txt tak kunjung hilang, padahal blog kita sudah di pasang ads.txt nya, Lalu kenapa pada dashboard adsense ads.txt pada blog belum juga hilang. Akibat peringatan ads.txt akan mengakibatkan iklan tidak tampil pada blog dan akan mengurangi pendapatan para publisher blog.


Setelah artikel kemarin tentang peringatan ads.txt dan cara penanganannya, sekarang artikel ini bertujuan untuk mengcrawl / merayapi isi dari ads.txt tersebut.

Perayap adsense / Crawl ads.txt pada blogger

Agar google dapat mengcrawl adx.txt di blog kita, blog kita haruslah memberikan izin ke google agar google dapat mengcrawl ads.txt kita. Lalu bagaimana cara agar google dapat merayapi nya ?

Pada robot.txt khusus di blog aktifkan terlebih dahulu kemudian isi seperti di bawah ini.

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.namadomain.com/sitemap.xml

Tapi pertama - tama kita harus mengecek nya terlebih dahulu, apakah ads.txt nya sudah aktif ? Biasanya tanpa sengaja ads.txt kita belum lah kita aktifkan atau masih disable.
Untuk mengaktifkan ads.txt di blogger.com  

• Login terlebih dahulu ke blogger.com
• Pada Dashboard blog pilih Setelan
• Kemudian pada menu setelah pilih Prefensi Penelusuran
• Pada bagian bawah. Monetisasi - ads.txt Custom - " Aktifkan konten ads.txt kustom? " Pilih YA.

Setelah mengaktifkan ads.txt kita harus memastikan, bahwa DNS domain kita telah bisa untuk di crawl oleh google.

yang saya ketahui blog saya menggunakan custom domain TLD ( Top Level Domain ) dan mendukung HTTPS, jadi ada 4 domain yang harus di cek.

1. URL dengan HTTP tanpa www (http://namadomain.com)
2. URL dengan HTTP dengan www (http://www.namadomain.com)
3. URL dengan HTTPS tanpa www (http://namadomain.com)
4. URL dengan HTTPS dengan www (http://www.namadomain.com)

Keempat url domain tersebut haruslah bisa diakses. Jika tidak bisa terakses maka blog akan menampilkan 'error' atau blog tidak ditemukan .

Jika salah satu URL dari keempat tersebut tidak bisa diakses, maka bisa dipastikan blog nya belum mengaktifkan non www to www. Hal ini lah yang akan membuat robot google tidak bisa meng crawl blog kita dan munculnya peringatan

Dan jika ke empat domain belom bisa di akses, biasanya ada propagasi DNS ( yang baru merubah sub domain menjadi domain TLD ). Atau untuk lebih jelas bisa tanya langsung ke tempat anda membeli domain.

Setelah selesai mengikuti langkah - langkah di atas, kemudian kita submit lagi ke empat domain blog kita di search console / google webmaster

1. URL dengan HTTP tanpa www http://namadomain.com/sitemap.xml
2. URL dengan HTTP dengan www http://www.namadomain.com/sitemap.xml
3. URL dengan HTTPS tanpa www http://namadomain.com/sitemap.xml
4. URL dengan HTTPS dengan www http://www.namadomain.com/sitemap.xml

Maka dengan sekejap peringatan pun akan langsung hilang.

Selesai sudah cara agar blog kita dapat di crawl oleh si google, agar peringatan ads.txt pada dashboard adsense hilang.

Jadi jika ada teman - teman blogger yang masih muncul peringatannya dan tidak hilang dalam berminggu - minggu, sudah di PASTIKAN itu karena salah satu domain dari keempat domain ada yang " 404 Not Found".

Update ! 10-01-2020

Saya pernah memberitahu ke grup fb blog, kalau blog nya harus di submit kembali. Saya kira penjelasan saya jelas, ternyata penulisan saya masih banyak yang salah dan tidak mengerti cara nya submit ke webmaster.

Okee saya akan menambahkan beberapa hal agar di mengerti.

• Pilih domain yang tanpa https ( Liat gambar )

• Pilih Peta Situs

• Submit kembali keempat domain tersebut di Peta Situs Baru

1. URL dengan HTTP tanpa www http://namadomain.com/sitemap.xml
2. URL dengan HTTP dengan www http://www.namadomain.com/sitemap.xml
3. URL dengan HTTPS tanpa www http://namadomain.com/sitemap.xml
4. URL dengan HTTPS dengan www http://www.namadomain.com/sitemap.xml 

Untuk mendaftarkan blog ke webmaster, jangan lupa untuk memverifikasi kembali. 

Masih bingung tentang setting nya ? Komentar aja di bawah, kita sesama blogger akan saling membantu menghilang kan masalah ini :)