فایل robot.txt چیست ؟ موتورهای جستجو همانند گوگل ، یاهو و بینگ مایکروسافت برای برای یافتن و ایندکس کردن صفحات مختلف وب و سایت های موجود از روبات های جستجو که به spider , robot و یا crawler معروف هستنداستفاده می کننید . این روبوت ها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات رو بدست میارند و اونها رو به موتور جستجوی مربوطه ارسال میکنند . معمولا بر اساس اینکه یک سایت چند مدت به چند مدت آپدیت میشه تعداد دفعاتی که این روبات های جستجوگر در روز به سایت مراجعه می کنند متفاوته . صفحات موجود در سایتهای مختلف از لحاظ امنیتی و درجه حساسیت متفاوت هستند و شاید شما دوست نداشته باشید بعضی از صفحات (مثل صفحات مدیریتی و ادمین سایت) در موتورهای جستجو ایندکس بشه و آدرسش در این موتورها در اختیار عموم باشه . برای اینکه به موتورهای جستجو بگید چه صفحات یا فولدرهایی در سایت رو پیمایش و ایندکس کنه و اینکه چه صفحاتی رو ایندکس نکنه می تونید از یک فایل با نام robot.txt در ایندکس هاستینگ سایتتون و یا در پوشه ای خاص استفاده کنید تا به موتورهای جستجو بگید جا مجازید پیمایش کنید و کجا مجاز نیستید. تیم طراحی و توسعه گوگل فایل روبوت تکس سایت های معروف مثل #facebook #youtube #digikala #amazon و مخصوصا خود #google رو استخراج کرده و در اختیار وبمستران و کاربران قرارداده است. برای دریافت فایل های موجود و سفارش کانفیگ با ما از طریق واتس اپ در تماس باشید. #تیم_طراحی_و_توسعه_گوگل #ساسان_قبادی #گوگل #روبوت_تکس #سئو #سئو_سایت #googleseoteam #google #seo #robot_txt #website (at Tehran, Iran) https://www.instagram.com/googleseoteam/p/Bvod00gABn-/?utm_source=ig_tumblr_share&igshid=1wd0admit18bd