Diagnosa Kegagalan Indeksasi: robots.txt 5xx & WAF
Catatan lapangan perbaikan kegagalan indeksasi di institusi keuangan: robots.txt 5xx, blokir WAF Googlebot, redirect satu langkah, dan canonical Laravel.
Ketika seluruh halaman situs keluar dari indeks Google, penyebab utamanya sering bersifat teknis. Dalam audit untuk institusi keuangan BUMN, akar masalahnya adalah robots.txt yang mengembalikan status 5xx dan aturan WAF yang memblokir Googlebot.
Spesifikasi Perbaikan untuk Developer
Perbaikan meliputi pemulihan status 200 untuk robots.txt, allowlist Googlebot terverifikasi di WAF, redirect satu langkah untuk www dan HTTPS, logika canonical otomatis di Laravel, XML sitemap otomatis, serta roadmap structured data.