فایل robot.txt شامل یک فایل متنی است که یکی از موارد بسیار مهم در بحث سئوی فنی یا همان سئوی تکنیکال است.
از این فایل می توان برای نرخ بودجه سایت استفاده کرد، و در واقع یک فایل راهنما می باشد که به ربات های گوگل کمک می‌کند تا بتوانند صفحات مهم ما را ایندکس و یا شناسایی کنند و صفحات غیر ضروری را ایندکس نکنند.
از آن جایی که فایل robots.txt مانند یک مسیر راهنما برای ربات ها و خزنده های گوگل می باشد پس نحوه درست استفاده کردن از آن بسیار حائز اهمیت است.
چرا که اگر در زمان استفاده از این فایل متنی اشتباه عمل کنیم این امر می‌تواند به بحث سئو و بهینه سازی صفحات وب سایت ما ضربه بزند.
در ادامه این مطلب با ما همراه باشید تا با قابلیت ها و کاربردها و نحوه استفاده فایل robots.txt بیشتر آشنا شویم.
کاربرد فایل robots txt
کاربرد استفاده از این فایل زمانی است که ما تعداد زیادی صفحه در وب سایت خود داریم، و برای ایندکس و شناسایی شدن این صفحات قصد داریم که یک مسیر راهنما برای ربات های گوگل ایجاد کنیم.
مسیر راهنما به این صورت عمل می کند که صفحات مهم خود را در اختیار خزنده های گوگل قرار می دهیم و صفحات کم اهمیت که در بخش زیر به برخی از آنها اشاره می‌کنیم را no-index می کنیم.
به عنوان مثال فرض کنید که شما در گذشته یکسری تک ها و یکسری دسته بندی ها را ایجاد کرده اید که ممکن است برای برخی از کلمات کلیدی و مهم صفحات شما تداخل ایجاد شود.
به عنوان مثال شما در وب سایت خود صفحه دارید با نام آموزش کامپیوتر که میخواهید این صفحه با کلمه های مثل آموزش کامپیوتر و کلمات مشتق و مرتبط با آن سئو شده در صفحه اول موتور جستجوی گوگل مشاهده شود.
حالا اگر شما تگ ها و دسته بندی هایی را در وب سایت خود ایجاد کرده اید که برای این کلمه کلیدی مهم و ارزشمند ایجاد تداخل کند می توانید با کمک فایل robots.txt به خزنده های گوگل اعلام کنید که این صفحات مزاحم را نادیده بگیرند.
برای مطالعه » دلایل ایندکس نشدن سایت
و یا صفحه ای مثل صفحه درباره ما، یا قوانین و مقررات در وبسایت، صفحاتی نیستند که ما بخواهیم از آنها درآمد زایی داشته باشیم صرفاً می خواهیم در معرض دید کاربر قرار بگیرد را نیز می‌توانیم با کمک فایل robots.txt آنها را از سهمیه ایندکس صفحات خود خارج کنیم.
برای مطالعه » index چیست
معمولاً فایل robots.txt را برای جلوگیری از شناسایی و ایندکس شدن صفحات زیر استفاده می کنند :
- تگ ها و برچسب هایی که باعث ایجاد محتوای تکراری و اضافه در سایت می شوند
- پیکربندی صفحات محصول که شامل فیلترهای قیمت رنگ و غیره هستند.
- صفحاتی مانند صفحه ادمین و پنل سایت
- صفحات دیگری مثل درباه ما، قوانین و مقررات
- صفحه پروفایل کاربران سایت
- صفحه چت کاربران
برای مطالعه » ابزار سئو سایت
آموزش ساخت فایل robots.txt
در بخش زیر ما یک ویدیو آموزشی برای شما قرار داده ایم تا با مشاهده آن بتوانید فایل robots.txt را ایجاد نمایید.
ویدئوی ساخت فایل robots.txt را مشاهده نمایید و در صورت نیاز به هر گونه سوال و یا راهنمای بیشتر داشتید در بخش نظرات در انتهای همین صفحه سوالات خود را وارد نمایید تا تیم پشتیبان وب سایت Atgo د اسرع وقت به سئوالات شما پاسخ دهد.
مشاهده ویدئوی آموزش ساخت فایل robots.txt
معرفی و نحوه ساخت فایل robots.txt
همانطور که در بخش‌های قبل گفته شد فایل robots.txt یک مسیر راهنما برای ربات های گوگل است که چه صفحاتی از سایت ما را شناسایی و چه صفاتی به شناسایی نکنند.
در بخش قبل با مشاهده ویدیوی آموزشی درج شده هم نحوه استفاده از این فایل را یاد گرفتید.
که با استفاده از کد زیر ما آن دسته از صفحاتی که نمیخواستی متوسط ربات های گوگل شناسایی شود را مشخص کردیم.
به عنوان مثال :
- User-agent: *
- Disallow:/atgo/
- Disallow:/1.html
در کدی که نوشته شده است الان ما برای ربات های گوگل یک مسیر راهنمای ایجاد کردیم که به آنها اجازه دسترسی به پوشه ای به نام Atgo و فایلی به نام 1.html را نداده ایم.
دستورات مهم فایل Robots.txt
- User-agent : برای مشخص کردن رباتی که دستورات برای آن نوشته شده.
- Disallow : بخش‌هایی که ربات اجازه درخواست یا بررسی آن را ندارد.
- Allow : بخش‌هایی که مجاز به درخواست و بررسی است.
- Sitemap : برای نشان دادن آدرس فایل نقشه سایت به ربات‌ها.
آموزش قرار دادن فایل robots.txt در سرچ کنسول گوگل
برای تست کردن فایل robots.txt شما می‌توانید از ابزار سرچ کنسول کمک بگیرید.
برای این منظور نام این ابزار را در بخش سرش وارد نمایید، که بخشی برای شما ظاهر می شود که اجازه نوشتن کد درج شده در قسمت قبلی را به شما می دهد.
شما تمام فایل robots.txt را در آن قرار دهید تا گوگل به راحتی دستورات شما را ببیند.
در بخش تست هم می‌توانید url سایت را تست کنید تا ببینید کدام url ها برای ربات های گوگل بسته شده اند.
فایل robots.txt چه کاربردی در سئو سایت دارد
زمانی که شما عملیات سئو و بهینه سازی سایت را بر روی صفحات وب سایت خود انجام می دهید، ربات های گوگل یک زمان مشخص و یک بودجه مشخصی را برای ایندکس کردن صفحات شما در نظر می گیرند.
پس برای اینکه صفحات مهم و صفحات فروش شما در اولویت اول برای خزنده های گوگل قرار بگیرند شما می توانید در اینجا یک سیاست هوشمندانه برای وبسایت خود اتخاذ نمایید و با کمک فایل robots.txt بودجه خزش رباتهای گوگل را به صفحات مهم و حیاتی اختصاص دهید.
با انجام این کار در واقع دیگر کلمات کلیدی و مهم صفحات وب سایت شما دچار تداخل نمی‌شوند، و کلمات کلیدی و مهم شما با صفحه ای که دوست داری در صفحه اول گوگل دیده شود به نمایش در می آید.
سخن پایانی
در نهایت امیدواریم که ارائه این مطلب مورد توجه شما قرار گرفته باشد، لطفا در انتهای این صفحه و در بخش نظرات، سئوالات خود را وارد نمایید تا همکاران ما در اسرع وقت به سئوالات شما پاسخ دهند.
همچنین در بخش زیر هم می توانید سایر مقالات آموزشی وب سایت Atgo که می توانید به یادگیری بیشتر و به توسعه فردی شما کمک کند را مشاهده نمایید.
پیشنهاد ویژه » برگزاری دوره سئو به صورت عملی و بازار کاری + ارائه مدرک معتبر و قابل ترجمه
برای مطالعه » مشاوره سئو رایگان
<< مقالات آموزشی مفید برای یادگیری بیشتر سئو و توسعه فردی >>
چگونه کامنت ها می تواند روی سئو وبسایت تاثیر گذار باشد
سئوکار کیست و چه وظایفی دارد ؟
<< مقالات آموزشی مفید برای یادگیری بیشتر طراحی وب سایت و توسعه فردی >>
آموزش استفاده از نقشه گوگل در سایت
آموزش بکاپ گرفتن از سایت وردپرس
حل مشکل ایندکس نشدن سایت در گوگل
آموزش اضافه کردن فونت به وب سایت
اصول طراحی صفحه اول سایت فروشگاهی
منبع :
atgo.ir/فایل-robot-txt-چیست/
