فایل robot.txt

برای مدیریت فعالیتهای روباتهای موتورهای جستجو شما دو عمل می توانید انجام دهید . در حالت عادی شاید انجام این کارها تٲثیر چندانی بر کار شما و بهینه سازی سایت شما نداشته باشد ولی انجام آن٬ خالی از فایده نیست. راه اول استفاده از فایل روبات است. این فایل یک فایل متنی با پسوند txt است و محتویات آن تنها دو خط می باشد. خط اول حاوی این مطلب است که خزنده کدام موتورهای جستجو٬ اجازه ورود و ذخیره سازی سایت شما را خواهند داشت . و خط دوم این که کدام مسیرها در سایت شما اجازه دسترسی دارند. شیوه نوشتن این فایل به این صورت است : نام خزنده : user_agent نام مسیر ممنوع : disallow بهتر است که در فایل خود اجازه دسترسی تمام مسیرها را به همه خزنده ها بدهید و اگر فایل یا مسیری دارید که هنوز آماده نیست آنرا در سایت خود قرار ندهید : *:user_agent :Disallow این فایل روی سرور قرار می گیرد. برای دسترسی به فایل robot هر سایت می توانید از مسیر مشابه این استفاده نمایید. www.123.com/robot.txt راه دیگر استفاده از متای robot است . این متا تگ در ادامه متا تگهایی که گفته شد٬ قرار می گیرد: <"meta name="robot" content="index,follow>