سرخط خبرها
خانه / بایگانی برچسب: Robots.txt و نحوه استفاده از آن

بایگانی برچسب: Robots.txt و نحوه استفاده از آن

Robots.txt و نحوه استفاده از آن

Robots.txt و نحوه استفاده از آن

فایل Robots.txt چیست؟ وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا …

توضیحات بیشتر »