چگونه می توان URL موجود در طراحی سایت خود را از موتور جستجو پاک نمود. بعبارتی فرض نمایید درصدد می باشید موتورهای جستجو به هر دلیلی دسترسی به صفحه ای از طراحی وب سایت شما را نداشته باشند. بدین مقصود می بایست صفحه مورد نظر را در طراحی سایت خود را از دسترسی موتور جستجو مسدود نمایید. در ادامه به توضیح نحوه برداشتن URL صفحه طراحی سایت از موتور جستجو خواهیم پرداخت.
فایل robots.txt در مسدود نمودن صفحه طراحی سایت
فایل robots.txt فایل متنی ساده می باشد که به موتورهای جستجو دسترسی یا عدم دسترسی به دایرکتوری های خاص را بیان می نماید. کاوش در صفحات طراحی سایت می تواند به واسط مشخص نمودن دایرکتوری در فایل robots.txt مسدود شود.
User-agent: *
Disallow: /private.htm
Disallow: /offlimits/
در دستور درج شده در بالا اجازه دسترسی به صفحه private.htm را از موتورهای جستجو مسدود نموده شده و همچنین اجازه دسترسی به تمامی صفحات موجود در طراحی سایت در دایرکتوری /offlimits/ از موتورهای جستجو گرفته شده است. بدین نحوه شما می توانید صفحات خاص را از طراحی وب سایت خود به منظور عدم نمایش در موتور جستجو انتخاب نماید. حتی می توانید نوع کاربر را از دسترسی به صفحات طراحی وب سایت مسدود نمایید. بدین معنا که می توانید ربات های گوگل را از دسترسی به صفحات طراحی سایت خود مسدود نمایید و تحت این شرایط گوگل و دیگر موتورهای جستجو نمی توانند در صفحات طراحی سایت شما کاوش نمایند و در صفحه نتایج جستجو به نمایش بگذارند که عدم عملکرد سئو سایت را دربرمیدارد.