گوگل به صورت پیش فرض بهترین تنظیمات را برای سرویس های خودش ارائه می دهد، بلاگر نیز دارای تمامی نیازهای شما به صورت پیش فرض است ولی اگر بخواهیم کمی اوضاع را بهتر کنیم باید خودمان دست به کار شویم.
فایل robots.txt به صورت کلی به موتورهای جستجو می گوید کجا را مشاهده کنند و کجا را رها کنند. یکی از قسمت هایی که در بلاگ های بلاگر ایندکس می شود و خیلی کار را خراب می کند نتایج جستجو است. در ادامه یک متن برای این موضوع آماده کردم که بهترین شکل سیستم بلاگر را تحویل کراولر گوگل می دهد .
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.yourdomain.com/sitemap.xml
Sitemap: https://www.yourdomain.com/sitemap-pages.xml
در کد های بالا فقط لازم است به جای yourdomain آدرس بلاگ خود را وارد کنید. با این کار لینک های جستجو ایندکس نمی شوند، هر آنچه غیر از آن باشد و با / شروع شود ایندکس می شود. برخی فایل ها به اشتباه می خواهند آرشیو را بلاک کنند ولی پست های بلاگ را نیز بلاک می کنند.
موفق باشید.
