مرجع رسمی مقالات تخصصی سئو

جدیدا یکی‌از مشتریان seo وب سایت ما سوالی در رابطه اینکه زمانی می‌گوییم فولدر robots.txt شما باصرفه نبود و ما این نقص‌ را حل کردیم، دقیقا سئو سايت از چه چیزی کلام می‌کنیم داشت. خب حتما در یک گرد هم آیی دو ساعته هم قابلیت و امکان توضیح دادن کل جزئیات برای هر کس پیش قضیه ای در seo ندارد، وجود ندارد و از آنجایی که محتوایی در رابطه سئو فولدر robots.txt و اینکه ابدا این فولدر چه می‌باشد و چه می نماید در وب سایت نداشتیم تمایل به تایپ کردن این نوشته ی علمی گرفتم.

پوشه robots.txt چه می‌باشد؟
Robots.txt در واقع یک پوشه متنی میباشد که به وسیله آن صاحبان وب سایت ها یا این که همان وبمسترها به موتورهای کاوش مانند گوگل می‌گویند که رباتهای خزنده خویش را به کدام صفحه های بفرستند و کدام صفحه های را نیز ایندکس نکنند.
این پوشه در هاست تارنما شما و در پوشه اساسی آن قرار میگیرد. معمولا فرمت شالوده یک پوشه robots.txt به صورت ذیل میباشد:

1 User-agent: [user-agent name]
2 Disallow: [URL string not to be crawled]
3
4 User-agent: [user-agent name]
5 Allow: [URL string to be crawled]
6
7
8 Sitemap: [URL of your XML Sitemap]

می‌توانید خطهای بیشتری برای اذن دادن یا این که ندادن به ورود ربات های گوگل بدین پوشه اضافه فرمائید و یا این که نقشه وب سایت دیگری نیز تمجید فرمایید. در حالتی‌که نشانی Url بخصوصی را disallow کردید، ربات های گوگل متوجه می‌شوند که نباید داده ها داخل آن‌ها‌را در ایندکس ذخیره نمایند.

یک مثال دیگر از پوشه robots.txt
1 User-Agent: *
2 Allow: /wp-content/uploads/
3 Disallow: /wp-content/plugins/
4 Disallow: /wp-admin/
5
6 Sitemap: https://example.com/sitemap_index.xml

در نمونه بالا ما به موتورهای کاوش اذن تحلیل پوشه های داخل پوشه wp-content/uploads را داده ایم. اشخاصی که از وردپرس برای ساخت سایت به کارگیری می نمایند، می‌دانند که درین پوشه کل فولدر هایی که در تارنما آپلود میکنیم مثل عکس و ویدئوها، قرار می‌گیرند.
در خط 3و 4 نیز به ربات های خزنده اذن نظارت محتوای باطن پوشه افزونه ها و ادمین را ندادیم.
در غایت در خط ششم، نشانی نقشه وبسایت را به گوگل و هم نوعانش نشان داده ایم.
فولدر robots.txt شما یک ابزار قدرتمند برای بهبود seo وب سایت به حساب آورده می شود، با این پوشه می تونید دسترسی موتورهای کاوش به بعضا محتواها را ببندید ولی شغل های بهتری هم میشه با این پوشه کرد، درپی بخوانید.

آیا برای تارنما وردپرسی به پوشه robots.txt احتیاج داریم؟
در شرایطی‌که شما هم ساخت سایت خویش را با وردپرس انجام داده اید و هنوز پوشه robots.txt ندارید، پس موتورهای کاوش کلیه مکان تارنما شمارا ایندکس کرده اند (مگر اینکه با yoast بهینه سازی دسترسی را بسته باشید ولی مراد اینجانب فولدرهایی مثل uploads میباشد). با پلاگین yoast بهینه سازی نیز نمی توانید دسترسی به‌این فولدرها را ببندید.
تاوقتی‌که وبسایت شما طفل میباشد و صفحه ها متعددی ندارید، نبودن این پوشه مشکلی ساخت‌و‌ساز نمی نماید البته هنگامی وب سایت شما پهناور خیس و تعداد صفحه های بیشتر خواهد شد، رئیس crawl budget یا این که وقتی که گوگل برای ایندکس روزمره تارنما شما تخصیص میدهد از اهمیت بالایی برخوردار می‌گردد.

Crawl budget چه می باشد؟
رباتهای گوگل سهم مشخصی را برای گشت و گذار و ایندکس مطالب هر وب سایت تخصیص می‌دهند. یعنی هربار که به وبسایت شما می‌آیند مقدار معینی صفحه ها را بازدید می نمایند و در حالتی‌که درین برهه زمانی مجموع صفحه های شما بازدید نشد، از تارنما می‌روند و دفعه بعدی که برگشتند ادامه میدهند.
در شرایطی‌که این بازه را صرف بازدید صفحه ها بی اهمیت نمایند، مطالب و صفحه ها اساسی شما سرعت ایندکس زیر تری خواهید داشت.
این اختلال با بستن دسترسی موتورهای کاوش به صفحاتی که نیازی وجود ندارد به آن‌ها راز بزند، مانند برچسب ها، فایل قالب، wp-admin، content و ... حل می گردد. با این عمل دیگه موتورهای کاوش وقتی که روی وب سایت شما صرف می نمایند یا این که به عبارتی crawl buget را صرفا صفحه های مقصود و گران بها شما‌را ایندکس می نمایند.
با نصب پلاگین yoast بهینه سازی و هسته وردپرس برخی دسترسی های حساس مانند فایل wp-admin را به صورت پیش فرض با یک خط کد در هد هر پوشه می بندد.

مهم‌ترین کاربرد robots.txt
در شرایطی‌که از وردپرس برای طراحی وب استعمال می‌کنید، مطلقا می‌دانید در‌حالتی که قصد بستن دسترسی موتورهای کاوش به یک شیت یا این که نوشته دارید، شایسته ترین مورد پلاگین yoast سئو میباشد، ولی کلاً در CMS های دیگر غیر از وردپرس، بستن یک کاغذ بخصوص در وبسایت با robots.txt به آسانی قابلیت پذیر میباشد.
هرچند نوایندکس کردن یک ورقه برای نهفته کردن یک برگه از حیث همگانی ممکن وجود ندارد البته در حالتی که نمیخواهید در نتیجه ها کاوش چشم خواهد شد، بایستی نوایندکس نمایید.

جدیدا یکی‌از مشتریان seo وب سایت ما سوالی در رابطه اینکه زمانی می‌گوییم فولدر robots.txt شما باصرفه نبود و ما این نقص‌ را حل کردیم، دقیقا سئو سايت از چه چیزی کلام می‌کنیم داشت. خب حتما در یک گرد هم آیی دو ساعته هم قابلیت و امکان توضیح دادن کل جزئیات برای هر کس پیش قضیه ای در seo ندارد، وجود ندارد و از آنجایی که محتوایی در رابطه سئو فولدر robots.txt و اینکه ابدا این فولدر چه می‌باشد و چه می نماید در وب سایت نداشتیم تمایل به تایپ کردن این نوشته ی علمی گرفتم.

پوشه robots.txt چه می‌باشد؟
Robots.txt در واقع یک پوشه متنی میباشد که به وسیله آن صاحبان وب سایت ها یا این که همان وبمسترها به موتورهای کاوش مانند گوگل می‌گویند که رباتهای خزنده خویش را به کدام صفحه های بفرستند و کدام صفحه های را نیز ایندکس نکنند.
این پوشه در هاست تارنما شما و در پوشه اساسی آن قرار میگیرد. معمولا فرمت شالوده یک پوشه robots.txt به صورت ذیل میباشد:

1 User-agent: [user-agent name]
2 Disallow: [URL string not to be crawled]
3
4 User-agent: [user-agent name]
5 Allow: [URL string to be crawled]
6
7
8 Sitemap: [URL of your XML Sitemap]

می‌توانید خطهای بیشتری برای اذن دادن یا این که ندادن به ورود ربات های گوگل بدین پوشه اضافه فرمائید و یا این که نقشه وب سایت دیگری نیز تمجید فرمایید. در حالتی‌که نشانی Url بخصوصی را disallow کردید، ربات های گوگل متوجه می‌شوند که نباید داده ها داخل آن‌ها‌را در ایندکس ذخیره نمایند.

یک مثال دیگر از پوشه robots.txt
1 User-Agent: *
2 Allow: /wp-content/uploads/
3 Disallow: /wp-content/plugins/
4 Disallow: /wp-admin/
5
6 Sitemap: https://example.com/sitemap_index.xml

در نمونه بالا ما به موتورهای کاوش اذن تحلیل پوشه های داخل پوشه wp-content/uploads را داده ایم. اشخاصی که از وردپرس برای ساخت سایت به کارگیری می نمایند، می‌دانند که درین پوشه کل فولدر هایی که در تارنما آپلود میکنیم مثل عکس و ویدئوها، قرار می‌گیرند.
در خط 3و 4 نیز به ربات های خزنده اذن نظارت محتوای باطن پوشه افزونه ها و ادمین را ندادیم.
در غایت در خط ششم، نشانی نقشه وبسایت را به گوگل و هم نوعانش نشان داده ایم.
فولدر robots.txt شما یک ابزار قدرتمند برای بهبود seo وب سایت به حساب آورده می شود، با این پوشه می تونید دسترسی موتورهای کاوش به بعضا محتواها را ببندید ولی شغل های بهتری هم میشه با این پوشه کرد، درپی بخوانید.

آیا برای تارنما وردپرسی به پوشه robots.txt احتیاج داریم؟
در شرایطی‌که شما هم ساخت سایت خویش را با وردپرس انجام داده اید و هنوز پوشه robots.txt ندارید، پس موتورهای کاوش کلیه مکان تارنما شمارا ایندکس کرده اند (مگر اینکه با yoast بهینه سازی دسترسی را بسته باشید ولی مراد اینجانب فولدرهایی مثل uploads میباشد). با پلاگین yoast بهینه سازی نیز نمی توانید دسترسی به‌این فولدرها را ببندید.
تاوقتی‌که وبسایت شما طفل میباشد و صفحه ها متعددی ندارید، نبودن این پوشه مشکلی ساخت‌و‌ساز نمی نماید البته هنگامی وب سایت شما پهناور خیس و تعداد صفحه های بیشتر خواهد شد، رئیس crawl budget یا این که وقتی که گوگل برای ایندکس روزمره تارنما شما تخصیص میدهد از اهمیت بالایی برخوردار می‌گردد.

Crawl budget چه می باشد؟
رباتهای گوگل سهم مشخصی را برای گشت و گذار و ایندکس مطالب هر وب سایت تخصیص می‌دهند. یعنی هربار که به وبسایت شما می‌آیند مقدار معینی صفحه ها را بازدید می نمایند و در حالتی‌که درین برهه زمانی مجموع صفحه های شما بازدید نشد، از تارنما می‌روند و دفعه بعدی که برگشتند ادامه میدهند.
در شرایطی‌که این بازه را صرف بازدید صفحه ها بی اهمیت نمایند، مطالب و صفحه ها اساسی شما سرعت ایندکس زیر تری خواهید داشت.
این اختلال با بستن دسترسی موتورهای کاوش به صفحاتی که نیازی وجود ندارد به آن‌ها راز بزند، مانند برچسب ها، فایل قالب، wp-admin، content و ... حل می گردد. با این عمل دیگه موتورهای کاوش وقتی که روی وب سایت شما صرف می نمایند یا این که به عبارتی crawl buget را صرفا صفحه های مقصود و گران بها شما‌را ایندکس می نمایند.
با نصب پلاگین yoast بهینه سازی و هسته وردپرس برخی دسترسی های حساس مانند فایل wp-admin را به صورت پیش فرض با یک خط کد در هد هر پوشه می بندد.

مهم‌ترین کاربرد robots.txt
در شرایطی‌که از وردپرس برای طراحی وب استعمال می‌کنید، مطلقا می‌دانید در‌حالتی که قصد بستن دسترسی موتورهای کاوش به یک شیت یا این که نوشته دارید، شایسته ترین مورد پلاگین yoast سئو میباشد، ولی کلاً در CMS های دیگر غیر از وردپرس، بستن یک کاغذ بخصوص در وبسایت با robots.txt به آسانی قابلیت پذیر میباشد.
هرچند نوایندکس کردن یک ورقه برای نهفته کردن یک برگه از حیث همگانی ممکن وجود ندارد البته در حالتی که نمیخواهید در نتیجه ها کاوش چشم خواهد شد، بایستی نوایندکس نمایید.