motorsportcc.com – Selamat datang di BlogOrangIT – Pada postingan kali ini saya akan membagikan tips menghalang-halangi bot crawling dari SEO tools seperti ahrefs, heaven, moz dan semrush yang biasa digunakan pelanggan untuk melihat backlink footprints, kemungkinan keyword pada sebuah website/blog.
Siapa yang suka diperhatikan? Canggung jika tiba-tiba muncul situs sejenis yang isinya mengambil yang terbaik dari website/blog kita, terutama pada artikel-artikel yang mungkin bisa mendatangkan trafik, tentu ini bisa mengurangi natural visit karena keyword kita ditiru oleh kompetitor, apalagi kalau mereka menggunakan AGC mungkin milik Anda. positioning dapat dibuang dari halaman pertama google
Para blogger masa kini sudah pintar, yang dulunya hanya menulis untuk blog, saat ini hanya fokus membuat konten yang bisa menghasilkan keuntungan. Sebagian besar tutorial di forum telah membahas menggunakan layanan SEO seperti ahrefs, semrush, moz dan megah untuk melihat backlink pesaing, menemukan daftar kata kunci yang ditangani dengan tingkat persaingan pusat di situs pesaing dan mengungkap berbagai kelemahan lainnya.
Karena hampir sebagian besar individu melek web, cepat atau lambat sebagai blogger mereka akan segera menyesuaikan diri dengan layanan SEO semacam ini.
Sama dengan google yang menggunakan botcrawl untuk merayapi situs Anda..
Layanan SEO dari ahrefs, megah, moz dan semrush juga menggunakan botcrawl untuk mengumpulkan informasi situs Anda. Sebenarnya, kita bisa menangani botcrawl melalui robots.txt atau htaccess.
Cara botcrawl bekerja
Bot bekerja dengan merayapi semua halaman/url situs web Anda untuk mengumpulkan informasi penting seperti perubahan bahagia, sindiran/tautan balik, kata kunci terkenal, halaman baru, dll. Keberadaan botcrawl juga sering disinggung sebagai creep boondocks
Keuntungan memblokir bot dari layanan SEO
Pesaing tidak dapat melihat informasi dari situs Anda seperti daftar backlink, lalu lintas, skor area, kemungkinan kata kunci, dll. Sayang juga jika pesaing Anda berlangganan bundel lite $99/minggu di Ahrefs jika tidak maka tidak dapat digunakan untuk periksa situs Anda hehe
Kekurangan memblokir bot dari layanan SEO
Layanan SEO tidak hanya digunakan oleh pesaing, pemilik situs web juga dapat berlangganan untuk memantau pelaksanaan situs web melalui halaman audit, termasuk mengamati tautan yang rusak, elemen halaman yang menghambat perayapan bot dari mesin pencari, tautan spam, dll.
Cara memblokir bot crawl dari SEO Service
Anda dapat menggunakan robots.txt untuk menghalangi nama spesialis dari bot layanan SEO tertentu, sebagian besar webmaster sebenarnya menggunakan robots.txt karena dianggap lebih mudah, lebih cepat, dan instruksi untuk baris kode jelas
Jika nama botcrawl dari mesin pencari google adalah googlebot, mediapartners-google
Sementara itu, dari layanan SEO,
Majestic SEO -> User-agent: MJ12bot
MOZ OpenSiteExplorer -> User-agent: rogerbot
Ahrefs -> User-agent: AhrefsBot
Semrush -> User-agent: SemrushBot
Kalau anda pakai platform blogger masuk ke menu setelan > crawler dan pengindeksan > aktifkan robots.txt > paste teks berikut
User-agent: Rogerbot
User-agent: Exabot
User-agent: MJ12bot
User-agent: SemrushBot
User-agent: Dotbot
User-agent: Gigabot
User-agent: AhrefsBot
User-agent: BlackWidow
User-agent: ChinaClaw
User-agent: Custo
User-agent: DISCo
User-agent: Download Demon
User-agent: eCatch
User-agent: EirGrabber
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Express WebPictures
User-agent: ExtractorPro
User-agent: EyeNetIE
User-agent: FlashGet
User-agent: GetRight
User-agent: GetWeb!
User-agent: Go!Zilla
User-agent: Go-Ahead-Got-It
User-agent: GrabNet
User-agent: Grafula
User-agent: HMView
User-agent: HTTrack
User-agent: Image Stripper
User-agent: Image Sucker
User-agent: Indy Library
User-agent: InterGET
User-agent: Internet Ninja
User-agent: JetCar
User-agent: JOC Web Spider
User-agent: larbin
User-agent: LeechFTP
User-agent: Mass Downloader
User-agent: MIDown tool
User-agent: Mister PiX
User-agent: Navroad
User-agent: NearSite
User-agent: NetAnts
User-agent: NetSpider
User-agent: Net Vampire
User-agent: NetZIP
User-agent: Octopus
User-agent: Offline Explorer
User-agent: Offline Navigator
User-agent: PageGrabber
User-agent: Papa Foto
User-agent: pavuk
User-agent: pcBrowser
User-agent: RealDownload
User-agent: ReGet
User-agent: SiteSnagger
User-agent: SmartDownload
User-agent: SuperBot
User-agent: SuperHTTP
User-agent: Surfbot
User-agent: tAkeOut
User-agent: Teleport Pro
User-agent: VoidEYE
User-agent: Web Image Collector
User-agent: Web Sucker
User-agent: WebAuto
User-agent: WebCopier
User-agent: WebFetch
User-agent: WebGo IS
User-agent: WebLeacher
User-agent: WebReaper
User-agent: WebSauger
User-agent: Website eXtractor
User-agent: Website Quester
User-agent: WebStripper
User-agent: WebWhacker
User-agent: WebZIP
User-agent: Wget
User-agent: Widow
User-agent: WWWOFFLE
User-agent: Xaldon WebSpider
User-agent: Zeus
Disallow: /
Setelah itu simpan dan periksa apakah aturan robots.txt baru sudah diterapkan atau belum. Triknya cukup tambahkan/robots.txt di belakang nama spasi
model: https://www.motorsportcc.com/robots.txt
Untuk pengguna wordpress bisa diatur melalui dokumen .htaccess, buka cpanel > record manager > lihat sebagai dokumen .htaccess (jika tidak menemukannya, buka menu setting > show stowed away files)
Rekatkan kode yang menyertai di bawah ini
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Setelah itu cek blog/website anda apakah sudah berhasil memblokir perayapan dari layanan service SEO intip backlink Ahrefs atau belum,
Ceknya disini https://ahrefs.com/robot
Sudah diblokir kan?
Yang lainnya ceknya disini:
https://www.semrush.com/bot/
https://www.mj12bot.com/
Persaingan liar di ranah SEO tidak bisa dihindari mengingat Google hanya membatasi 10 hasil terbaik di setiap halamannya, SEO bukan hanya tentang bagaimana caranya sampai di halaman pertama Google tetapi juga bagaimana menjadi lebih baik dari pesaing Anda saat ini.
Untuk alasan apa statusnya masih diizinkan?
Anda mungkin perlu menunggu hingga 1×24 jam hingga eksekusi robots.txt baru benar-benar diterapkan ke situs web/blog Anda
Untuk alasan apa hasilnya tidak valid ketika diperiksa, meskipun botcrawl terhalang?
Ini karena layanan SEO seperti Ahrefs masih menyimpan informasi Anda dari hasil analisis sebelumnya
Ini adalah artikel tentang cara menghalangi bot slithering dari layanan SEO Ahrefs, Majectis, Moz dan Semrush. Idealnya apa yang saya bagikan bermanfaat terlepas dari pro dan kontra selama ini. Cara cepat untuk menghasilkan uang dari blog/situs web adalah dengan melakukan banyak riset, mengambil yang terbaik dari pesaing (tautan balik tayangan, kata kunci) dan tentu saja menjaga kesehatan situs web kita sendiri dengan layanan Alat Audit SEO.
