بودجه خزش Crawl Budget چیست و چگونه میتوان آن را افزایش داد؟

یکی از اصلی ترین زیر ساخت های سئوی تکنیکال هر سایت، بهینه سازی بودجه خزش به شمار میرود. بودجه خزش با توجه به اپدیت های اخیر الگوریتم های گوگل که باعث کندی زمان ایندکس صفحات و مقالات وب سایت ها شده،  بیش از پیش مورد توجه وب مستران قرار گرفته است. در ادامه به چیستی این فاکتور و میزان اهمیت آن در سئوی سایت و راهکار های بهینه سازی نرخ خزش سایت خواهیم پرداخت.

کرال باجت یا همان بودجه خزش چیست؟ (Crawl Budget)؟

قبل از پرداختن به موضوع بودجه خزش ابتدا به این موضوع میپردازیم که اساسا خزش یا کرال سایت به چه معناست؟ در پاسخ به این سوال باید بگوییم که گوگل برای بررسی صفحات و محتوای یک سایت از خزنده هایی موسوم به کرولر استفاده میکند، این خزنده ها با استفاده از پیوند ها یا همان لینک های موجود در صفحات وب، وارد دیگر صفحات شده و محتوای آن را بررسی میکنند.
حال با مشخص شدن مفهوم خزش یا کرال باید بگوییم که بودجه خزش یک سایت، مقدار صفحاتی است که کرولر ها و خزنده های گوگل و دیگر موتور های جست و جو در یک بازه زمانی مشخص بررسی و کرول میکنند. این نرخ خزش (یا همان Crawl Budget) در هر سایت متفاوت بوده و به فاکتور های مختلفی بستگی دارد که در ادامه به بررسی هر یک از این فاکتور ها خواهیم پرداخت.

دلیل اهمیت بودجه خزش و بهینه کردن آن

بدیهی است که شرط اول رتبه گرفتن در نتایج موتور های جست و جو و بهره مندی از فواید آن (نظیر بهبود رتبه و افزایش ترافیک و...) ایندکس شدن آن صفحه و مقاله در دیتا بیس گوگل است. طبیعتا افزایش سرعت ایندکس شما و سریع دیده شدن این صفحات میتواند تاثیر مثبتی در فرآیند سئوی سایت شما داشته باشد. لازم به ذکر است که در کنار ایندکس شدن صفحات جدید شما، بازبینی و بررسی صفحات قبلی شما که ویرایش شده اند در راستای داشتن مقالات همیشه سبز و...، توسط موتور های جست و جو، از اهمیت بالایی برخوردار است که این مورد هم میتواند اهمیت میزان بودجه خزش را بیشتر به ما گوش زد کند.

جلوگیری از سرقت محتوای شما

تا به حال به این موضوع فکر کرده اید که اگر شما محتوای دست اول و با کیفیتی را تولید کرده باشید و پس از انتشار، یک سایت با بودجه خزش بالاتری، محتوای شما را کپی کرده و در سایت خود قرار دهد، چه اتفاقی خواهد افتاد؟
بدون شک مقاله شما در آن سایت زود تر ایندکس شده و پس مدتی آن مقاله در سایت شما ایندکس خواهد شد!!! عملا شما از دید گوگل به عنوان یک دزد محتوا شناخته خواهید شد! این عامل به تنهایی میتواند میزان اهمیت نزخ خزش را برای شما و هر وب مستری یادآوری کند.

عوامل موثر در تعیین بودجه خزش سایت

بودجه خزش هر سایت مقداری متفاوت و منحصر به فرد است، گوگل با توجه به پارامتر های مختلفی مثل : تقویم محتوایی - میزان محتوای تولید شده در بازه های زمانی مشخص، دوره به روز رسانی مقالات و... این میزان بودجه را به سایت ها تخصیص میدهد. در ادامه به مهم ترین این پارامتر ها اشاره خواهیم کرد.

1- میزان فعالیت و محتوای تولید شده در سایت

منظور از میزان فعالیت انجام شده در سایت، به منظور هر گونه فعالیتی است که موجب تغییراتی در صفحات سایت شما شده و گوگل متوجه این تغییرات شده باشد.
این تغییرات گاه میتواند تولید محتوا باشد، گاه به روز رسانی صفحات(داشتن محتوای همیشه سبز) و گاه بازطراحی صفحات و گاه هم کامنت های کاربران و... . به هر میزان که این تغییرات بیشتر در سایت شما رخ دهد، بودجه تخصیص یافته گوگل برای سایت شما بیشتر خواهد بود.

نکته : توجه داشته باشید داشتن یک تقویم محتوایی جهت انتشار منظم مقالات میتواند تاثیر مثبتی در روند افزایش نرخ خزش شما داشته باشد.

2- بک لینک های دریافتی

یکی دیگر از فاکتور های تعیین کننده میزان بودجه خزش دریافتی شما از گوگل، تعداد و کیفیت بک لینک های دریافتی شما است. بک لینک ها در واقع پل ارتباطی بین سایت های دیگر با سایت شما و تنها مسیر کرولر های گوگل برای پیدا کردن صفحات وب میباشد. بنابراین طبیعی است که به هر میزان این تعداد لینک ها (توجه داشته باشید که از سایت های معتبر با کیفیت!) بیشتر باشد، سایت شما بیشتر در معرض دید کرولر ها و خزنده های گوگل قرار خواهند گرفت.

3- قدرت هاست و سرور

در واقع با هر بار بررسی سایت توسط کرولر های گوگل، یک درخواست به سرور شما ارسال خواهد شد. با توجه به این تعریف منطقی است که اگر این تعداد درخواست ها از حدی که بگذرد ممکن است منابع زیادی از سرور را اشغال کرده و سرور را دچار بروز مشکلاتی کند، از این رو گوگل به چند مورد مهم در رابطه با منابع سرور هنگام تخصیص میزان بودجه خزش توجه خواهد کرد :

الف : تعداد دفعاتی که سایت هنگام کرول شدن و بررسی توسط گوگل دچار مشکل شده است

ب : تعداد سایت هایی که روی یک سرور یا هاست میزبانی میشوند.

4-داشتن سایت مپ

داشتن سایت مپ اولین مرحله برای هدایت خزنده های گوگل و بررسی روابط بین صفحات سایت شما و فهم میزان اهمیت صفحات سایت شما است. با داشتن یک سایت مپ منظم و اصولی شما میتوانید میزان اهمیت هر یک از صفحات را برای خزنده های گوگل تعیین کنید و از طرفی صفحات جدید منتشر شده و یا آخرین زمان تغییرات صفحات را به کرولر ها نمایش دهید.

عوامل هدر رفت بودجه خزش

همان طور که در بالا اشاره کردیم. عوامل متعددی در تعیین میزان نرخ خزش سایت ما اثر گذار بوده و از طرفی عوامل دیگر میتوانند باعث کاهش این نرخ یا هدر رفت بودجه خزش سایت شما شوند :

1-محتوای کپی شده و باکیفیت پایین

گوگل بارها اعلام کرده که هدف اصلی آن، نمایش بهترین نتایج به کاربران در بهینه ترین حالت است. خب طبیعی است که در راستای این هدف، در نتایج یک جست و جو صفحات مشابه با محتوای یک سان و یا صفحاتی با محتوای بی کیفیت نمایش ندهد. سخت گیری گوگل در رابطه با بحث محتوای بی کیفیت و یا کپی شده کاملا مرتبط با منافع آن است و در کنار جریمه هایی که برای این عمل در نظر گرفته، عواملی مثل کاهش بودجه خزش سایت شما پس از تکرار پیاپی انتشار محتوای کپی شده یا بی کیفیت، مکمل این جریمه خواهد بود.

2- ساختار غیر هدفمند بک لینک های داخلی

سعی کنید در هنگام  پیاده سازی لینک های داخلی به صورت هدفمند و با استفاده از یک مدل کار را پیش ببرید. لینک سازی داخلی بی هدف، میتواند موجب سر درگرمی کرولر های موتور های جست و جو شده و این امر در طولانی مدت باعث کاهش بودجه خزش شما خواهد شد.

3- وجود پارامتر در آدرس ها (URL)

یکی از مشکلاتی که بسیاری از وب سایت های نوپا، مخصوصا سایت های فروشگاهی و یا سایت های کد نویسی شده با آن رو به رو هستند، ایندکس و کرول شدن صفحاتی است که شامل پارامتر های مختلف در آدرس ها هستند.
سایت های فروشگاهی به دلیل استفاده از فیلتر هایی که گاه در صفحات دسته بندی و یا محصولات خود استفاده میکنند و سایت های کد نویسی شده به دلیل در نظر نگرفتن کد های کنونیکال و لینک دهی های غیر استاندارد گریبان گیر این ماجرا میشوند. یک مثال از این نوع آدرس ها :

ex.com/book/novel?cat=his

برای جلوگیری از خوانش این صفحات توسط موتور های جست و جو میتوانید با استفاده از فایل robots.txt و یا در قسمت تنظیمات url سرچ کنسول اقدام کنید.

4- وجود لینک های شکسته خارجی و داخلی

همانطور که پیشتر اشاه کردیم، لینک های موجود در میان صفحات وب، پل های ارتباطی برای کرولر های گوگل به شمار میروند، حالا اگر تعداد لینک های شما به صفحاتی که وجود ندارند، بیش از حد باشد و باعث شود که خزنده های گوگل به صفحاتی که اصلا وجود ندارند هدایت شوند، این امر میتواند موجب کاهش چشمگیر بودجه خزش شما شود.

5- نداشتن زامبی پیج ها

زامبی پیج ها به صفحات زیادی از یک سایت گفته میشود که هیچ کاربردی نه به لحاظ سئویی و نه به لحاظ کاربردی برای یک سایت نداشته و موجب هدر رفت قدرت اصلی دامنه و خزش بیهوده کرولر های موتور های جست و جو میشوند. داشتن تعداد زیادی از این صفحات، موجب هدر رفت بودجه خزش شما برای خوانش این صفحات شده و زمان تخصیص یافته برای صفحات مهم شما کاهش میابد.

6-جلوگیری از ایجاد صفحات یتیم (orphan page)

صفحات یتیم به صفحاتی از سایت گفته میشود که هیچ لینکی به آن ها زده نشده و توسط هیچ صفحه ای (چه صفحات داخلی سایت و چه بک لنیک های خارجی) معرفی نشده است. صفحات orphan با به اصطلاح یتیم، توسط خزنده های گوگل دیده نشده و در نهایت هیچ سیگنالی برای موتور های جست و جو مبنی بر انتشار صفحات جدید و یا به روز رسانی این صفحات ارسال نخواهد شد و از این رو تاثیری در افزایش بودجه خزش شما نخواهد داشت.

نتیج گیری

بودجه خزش از اصلی ترین بخش های سئو تکنیکال هر سایت به شمار میرود و توجه به آن میتواند موجب افزایش ترافیک شما شده و عدم توجه به آن در بلند مدت میتواند موجب افت سایت شما و گاها پنالتی شدن سایت به دلیل کپی شدن محتوا (که در بالا توضیح دادیم) شود.