نحوه بررسی ایندکس شدن سایت در گوگل

سایت ها چگونه کرول و ایندکس می شوند؟

تمام پروسه ی ایندکس شدن سایت ها پس از درج رپورتاژ آگهی توسط ربات های الگوریتم جستجو نظیر گوگل بات مدیریت می شوند که محدودیت هایی هم از نظر سرعت و  هم فضای فیزیکی سرورها و مواردی از این دست دارد. این بات ها بیش از صدها میلیون گیگا بایت داده را ایندکس می کنند و در سرورها ذخیره می کنند و تقریبا مکانیزم یک کتابخانه را دارد که تمام کتاب ها را در قفسه های مربوط به آن قرار داده اند. گوگل نیز تمام داده های دیجیتال را در دسته بندی خاص خود قرار می دهد تا کاربران بتوانند به راحتی این داده ها را استخراج کنند. مراحل ایندکس به این صورت می باشند:

1. گوگل بات یک ابزار مجهز با الگوریتم ها و هوش مصنوعی خاص خودش است که دنیای اینترنت را می کاود و تک به تک وبسایت ها را بررسی می کند.
2. وقتی به یک سایت می رسد تمام داده های سایت را مطابق با فایل txt می خواند. این ربات بیشتر روی لینک ها و متن متمرکز است و از طریق نقشه سایت نیز به بخش های مختلف سایت نظیر وبلاگ و فروشگاه و سایر صفحات دسترسی پیدا می کند.
3. داده های محتوایی این صفحات کشف می شود و به سرورهای گوگل ارسال می شود و به دیتابیس اضافه می شود.
4. این داده ها به برنامه های کامپیوتری و الگوریتم های خاصی سپرده می شود تا آنالیز کنند کدام صفحات باید کرول شوند و کدام نباید کرول شوند و کدام صفحات باید به کاربران نمایش داده شوند.
5. برنامه ها و الگوریتم های خاص دیگری میزان ارتباط و ارزش محتوا را می سنجند تا آن را در رتبه بندی دخیل کنند. تعداد لینک ها، کلمات کلیدی و سایر موارد مرتبط با سئو به طور کامل آنالیز می شوند و صفحات سایت شما ایندکس می شوند.

گوگل بات سایت های جدید را در اولویت قرار می دهد چون سیاست گوگل این است که از سایت های تازه تاسیس حمایت کند تا بتوانند به راحتی شروع به فعالیت کنند و دیده شوند و سیاست های سختگیرانه ای هم در مورد لینک های شکسته و تخلف از قوانین گوگل دارد و آن ها را به عنوان گوگل پنالتی در نظر می گیرد. البته راه هایی هم برای تسریع این فرایند وجود دارد تا سایت شما سریع تر ایندکس شود و زودتر شود یا در نتایج گوگل نمایش داده شود.

چگونه می توان سرعت ایندکس سایت را بالا برد؟

بسیاری از وبمسترها از روش هایی استفاده می کنند که به گوگل سیگنال هایی را ارسال می کند که آن ها مطالب و یا محتوای تازه ای را منتشر کرده اند و گوگل این سیگنال ها را بررسی می کند  تا زمان ایندکس را کمتر کند. چند مورد از گزینه های مهم که حتما باید لحاظ کنید در ادامه آورده شده اند.

یک سایت قابل ایندکس شدن بسازید.

قبل از اینکه وبسایت شما به کانال های بازاریابی اینترنتی و مخصوصا موتورهای جستجو وصل شود حتما از کیفیت سایت خود و ساختاری که برای آن در نظر گرفته اید اطمینان حاصل کنید. در حقیقت باید سایتی بسازید که ارزش ایندکس شدن داشته باشد. چگونه؟

• ارزش: محتوای متنی ارزشمند تولید کنید تا هم کاربران بخوانند و هم ربات گوگل بتواند آن را کراول کنید.
• استفاده: ساختار فنی سایت باید به گونه ای باشد که بتوان به راحتی متن را خواند و از آن استفاده کرد.
• منو کاربری: کاربران را توسط یک منوی راحت و ساده به سایر قسمت های سایت بکشانید.
• زبان: از URL های مرتبط با محتوا استفاده کنید و برای عکس ها متن جایگزین قرار دهید. چون در حال حاضر خود عکس ها قابلیت شناسایی ندارند.
• سادگی: ساده باشید و از پیچیدگی و ترفندهای پنهان سئو که خلاف قوانین گوگل هستند استفاده نکنید.
• مسیر: دقت داشته باشید که هیچ رباتی جلو ایندکس شدن سایت شما را نمی گیرد.

این موارد اصول بنیادی سئو هستند که برای ایندکس شدن صحیح حتما باید به کار گرفته شوند. یکی از دلایلی که اغلب سایت ها به درستی ایندکس نمی شوند غافل بودن از همین اصول ساده و پیش پاافتاده می باشد.

گوگل آنالیتیکس را راه بیندازید.

Google Analytics یک ابزار تحلیلی رایگان است که توسط خود گوگل توسعه داده شده است. این ابزار برای رصد کردن کاربران و ترافیک سایت و گزارش های تحلیلی از سایت کاربرد دارد. وصل کردن سایت به گوگل آنالیتیکس در حقیقت به این معناست که شما به گوگل سلام کرده اید. یک سیگنال از جانب شما برای گوگل ارسال می شود چون گوگل آنالیتیکس ابزار اختصاصی گوگل است. گرچه تا زمانی که سایت شما ایندکس نشده باشد داده ای نمایش داده نمی شود اما همینکه قصد دارید سایت خود را به گوگل آنالیتیکس متصل کنید گوگل از تصمیم شما برای حضور فعال و مستمر در دنیای وب آگاه می شود.

کنسول گوگل و امکانات ویژه ی ایندکس

Google Search Console ابزار وبمستر گوگل دقیقا چیزی است که به آن نیاز دارید تا از وضعیت ایندکس سایت خود باخبر شوید و کلی امکانات برای ایندکس سریع تر و آمار کراول و ارورها و مواردی از این دست در اختیار شما قرار می دهد. کار کردن با آن هم ساده است.

می توانید گزارشی از ایندکس و کراول سایت خود را به صورت روزانه دریافت کنید. ثبت نقشه سایت که در ادامه در مورد آن بحث خواهیم کرد در این ابزار انجام می شود. در ضمن با استفاده از گزینه ی Fetch as Google می توان در هر لحظه داده ها و اطلاعات جدیدی که وارد سایت می کنید را به صورت دستی ایندکس کنید.

در ضمن همینکه از این ابزار وبمستر استفاده کنید مجددا سیگنال مثبتی از جانب سایت شما برای گوگل ارسال می شود و ایندکس شدن سایت شما سریع تر اتفاق می افتد. در نظر داشته باشد که همیشه می توانید از طریق گزینه Crawl Errors از خطاهایی که جلو ایندکس شدن سایت شما را می گیرند جلوگیری کنید.

نقشه سایت را ثبت کنید.

نقشه سایت یکی از ضروری ترین موارد در سئو است. نقشه سایت به موتورهای جستجو مسیرهای کلی سایت و نقشه ی کلی سایت را نمایش می دهد. محصولات شما کجا قرار دارند. محتوای وبلاگ شما از چه طریقی در دسترس قرار می گیرد و چه لینک هایی در وبسایت شما قابل دسترسی هستند. نقشه سایت یک فایل xml است و روش های زیادی برای ایجاد آن وجود دارد.

اگر سایت وردپرسی دارید با اضافه کردن افزونه های سئو، نقشه سایت به صورت خودکار تولید می شود. ابزارهای زیادی نظیر Google Sitemap Generator نیز وجود دارند که به شما در تولید یک سایت مپ پویا و داینامیک کمک می کنند.

در مرحله ی نهایی باید این نقشه سایت تولید شده را در کنسول گوگل ثبت کنید تا گوگل از این طریق وبسایت شما را شناسایی کند. ثبت کردن نقشه سایت از طریق منوی Sitemaps در دسترس می باشد. در نظر داشته باشید که بعد از ثبت نقشه حتما تیک سبز رنگ آن که به معنای تایید نقشه سایت می باشد فعال شده باشد.

Google Fetch and Render

شما می توانید از گوگل بخواهید که به صورت دستی و غیرخودکار صفحات شما را ایندکس کند. در قسمت Index کنسول گوگل گزینه ی Fetch as Google وجود دارد که می توانید لینک های مورنظرتان را وارد و تایید کنید و سپس درخواست Index بدهید. در نظر داشته باشید که اگر سایت شما به صورت منظم کراول و ایندکس می شود لزومی ندارد که مداوما از این ابزار استفاده کنید. شما در طول یک ماه می توانید 10 بار از ایندکس به روش All Links استفاده کنید و یا 2000 صفحه جداگانه را ایندکس کنید.

لینک بگیرید.

هر چه بک لینک های باکیفیت از سایت های معتبر بگیرید سرعت ایندکس شما بیشتر می شود. در حقیقت هر وقت که وبسایت لینک دهنده ایندکس می شود سیگنال هایی برای ایندکس لینک های خروجی آن نیز ارسال می شود و اگر سایت شما یکی از این لینک ها باشد مطمئنا ایندکس شدن آن به راحتی انجام می شود. می توانید از طریق پست مهمان نوشتن و یا شبکه سازی لینک دریافت کنید. روش های دیگری نیز وجود دارند که می توانید آن را تست کنید. در هر صورت هر چه بیشتر لینک بگیرید سرعت ایندکس شما نیز بالاتر می رود.

فعالیت خود را توسعه دهید.

مدیریت وبسایت صرفا انتشار محصولات و پست های وبلاگ نیست. شما باید سایت خود را از هر نظر توسعه دهید. ایمیل مارکتینگ را آغاز کنید. پست مهمان بنویسید. شبکه سازی کنید، در شبکه های اجتماعی فعالیت کنید و یا در خبرگزاری ها رپورتاژ منتشر کنید و صدها کار دیگر که به توسعه ی وبسایت شما می انجامد. این کار نه تنها کسب و کار آنلاین شما را توسعه می دهد بلکه ایندکس شدن سایت شما را نیز سریع تر می کند.

به طور مثال فعالیت شما در اینستاگرام، توییتر، فیسبوک و لینکدین و مواردی از این دست سیگنال های دیگری برای گوگل بات می باشند که وبسایت شما را سریع تر و راحت تر شناسایی می کند. در نظر داشته باشید لینک هایی که در شبکه های اجتماعی به وبسایت شما ارجاع داده می شوند Nofollow می باشند و کیفیت لینک های

منظور از ایندکس سایت چیست؟

بعد از ، گوگل با crawler (ربات های خزنده گوگل)، در محیط وب صفحات جدید را پیدا می‌کند. گوگل این کار را با یک رباتی به نام Googlebot ‌انجام می‌دهد. Index صفحه در گوگل، ‌بطور کلی به این معنی است که گوگل سایت و صفحات شما را می‌بیند و در یک دیتابیس بزرگ آن را ذخیره می‌کند.
زمانی که شما مطلبی را در گوگل سرچ می‌کنید، از گوگل درخواست می‌کنید تمامی ‌صفحات ایندکس شده را به شما نشان دهد. به دلیل اینکه برای این درخواست، ممکن است میلیون‌ها محتوا مرتبط با مطلب درخواستی شما وجود داشته باشد، لذا الگوریتم رتبه‌بندی گوگل تمامی ‌تلاش خود را می‌کند تا صفحات را مرتب کند، به نحوی که شما بهترین و مرتبط ترین مطلب را در ابتدا مشاهده کنید.

نحوه بررسی ایندکس شدن سایت

برای مشاهده ایندکس یک سایت در گوگل، مستقیما به سراغ موتور جستجوی گوگل می‌رویم. طبق تصویر، نام سایت خود را بعد از عبارت “:Site”در گوگل سرچ کنید. عددی که به عنوان نتایج جستجو نشان داده می‌شود، تعداد صفحات ایندکس شده سایت شما در گوگل را نشان می دهد. جهت بررسی ایندکس صفحه در گوگل برای یک آدرس ‌به خصوص، از ساختار زیر استفاده کنید. در نتایج می‌توانید مشاهده کنید که آیا ایندکس صفحه در گوگل به درستی انجام شده است یا خیر.

site:Mywebsite.com/xample

اگر بعد از وارد کردن آدرس صفحه مورد نظر در گوگل با :site با خطای زیر موجه شدید، باید بدانید که صفحه شما در گوگل ایندکس نشده است. برای آشنایی با نحوه ایندکس سایت در گوگل در ادامه ی مقاله همراه ما باشید.

چطور باید صفحات را در گوگل ایندکس کرد؟

برای ایندکس کردن سایت در گوگل، یک  روش مهم وجود دارد آن هم استفاده از ابزار سرچ کنسول گوگل و بخش url inspection است. زمانی که دریافتید فرایند ایندکس شدن در گوگل به درستی انجام نشده است، برای شروع به سراغ ابزار URL inspection می‌رویم.

استفاده از ابزار URL inspection

ابزار URL Inspection ، این امکان را به شما می‌دهد تا صفحات سایت خود را به گوگل معرفی کنید و به ربات های گوگل بگویید صفحه جدید ساخته اید. در ضمن زمانی که می خواهید از بدانید آدرسی از سلیت شما ایندکس شده است یا نه نیز از این ابزار می توان استفاده کرد. این ابزار بطور خاص برای صفحات وب‌سایت طراحی شده است و شامل فایل‌های عکس، ویدئو و غیره نمی‌شود.

برای استفاده از این ابزار ابتدا باید از قبل سایت خود را در Google Search Console تعریف کرده باشید. پس از ورود به صفحه ابزارهای کنسول، در سمت چپ سایت مورد نظر خود را انتخاب کنید. سپس در بخش بالای صفحه، طبق تصویر در بخش جستجو آدرس صفحه مورد نظر را وارد کنید.

پس از وارد کرن آدرس صفحه مورد نظر باید روی گزینه request indexing کلیک کنید تا درخواست شما برای ایندکس صفحه در گوگل ثبت شود و کرالر ها برای ثبت این صفحه در نتایج گوگل به سراغ صفحه شما بیایند.

بررسی گزارش URL inspection

همانطور که میدانید این ابزار به بررسی ایندکس شدن سایت می‌پردازد. در ادامه قدم به قدم به بررسی گزارش URL Inspection که مربوط به یک صفحه از وب سایت است می‌پردازیم. اگر فرایند ایندکس صفحات در گوگل به درستی انجام شده باشد، شما عبارت “URL is on Google” را خواهید دید.

در مقابل اگر آدرس مورد نظر ایندکس نشده باشد، عبارت “URL is not on Google” نمایش داده می‌شود.

در بخش سمت راست صفحه، شما گزینه Request Indexing را مشاهده می‌کنید. با استفاده از این گزینه می‌توانید درخواست کنید ایندکس صفحات در گوگل مجددا انجام شود.

در بخش Coverage اطلاعات مفصل‌تری در مورد پروسه ایندکس شدن صفحات توسط گوگل را مشاهده می‌کنید و خواهید دید که آیا گوگل در این پروسه موفق عمل کرده است یا خیر.

در بخش enhancement گزارش گوگل را مشاهده می‌کنید که نشان می‌دهد آیا صفحات سایت در دستگاه‌های موبایل به خوبی بارگذاری می‌شوند. همانطور که در تصویر مشاهده می‌کنید، بارگذاری این صفحه در دستگاه‌های موبایل کاملا مناسب به نظر می‌رسد.

در نظر داشته باشید اطلاعاتی که نشان داده می‌شوند مربوط به آخرین زمان ایندکس سایت در گوگل است. اگر می‌خواهید گزارش نمایش داده شده به روز باشد، می‌توانید از گزینه TEST LIVE URL در سمت راست صفحه استفاده کنید.

دیگر روش‌های سرعت بخشیدن به ایندکس صفحات در گوگل

اگرچه ثبت درخواست ایندکس صفحات، به کراولرهای گوگل اطلاع می دهد که بیابند و صفحه جدید را ایندکس کنند، اما برای سرعت بخشیدن به ایندکس صفحات در گوگل، تکنیک‌هایی وجود دارد که می‌توانید از آنها استفاده کنید. این تکنیک‌ها می‌توانند مشکلات ایندکس صفحه در گوگل را نیز برطرف کنند. سریع ترین راه برای ایندکس شدن صفحات جدید شامل موارد زیر است.

۱. ربات گوگل را بلاک نکنید

بسیاری از مالکین وب سایت‌، برای بلاک و کنترل ربات‌های موجود در محیط وب، از فایل robots.txt استفاده می‌کنند. اگر در فایل خود از کد زیر استفاده کرده باشید در حقیقت دسترسی ربات‌های جستجو را بلاک کرده اید.
۱ User-agent: *
۲ Disallow: /

۲. استفاده از از Site Map

سایت مپ به گوگل می‌گوید که چه صفحاتی در سایت شما مهم هستند و کدامیک اهمیتی ندارند. جدا از اینکه صفحه مورد نظر شما در Sitemap وجود دارند، گوگل باید بتواند به تمامی‌صفحات شما دسترسی داشته باشد. برای شروع، بهتر است صفحات خود را در site map اضافه کنید، تا موتورهای جستجوی گوگل دسترسی بهتری به آنها داشته باشند.

۳. اصلاح صفحات اورفن ( orphan)

چک کنید که آیا در سایت شما صفحه ای وجود دارد که لینک ورودی برای آن تعریف نشده باشد یا به اصطلاح دیگر هیچ صفحه ای اورفن یا یتیم نباشد. از آنجایی که گوگل، محتوای جدید را با خزیدن در سایت پیدا می‌کند، صفحاتی که دارای لینک ورودی نباشند توسط گوگل قابل دسترس نیستند و بازدیدکنندگان سایت نیز این صفحات را نخواهند دید. گوگل محتوای جدید را با خزیدن در سایت شما پیدا می‌کند و وجود لینک‌های داخلی این مسیر را هموار می‌کند.

اگر می‌خواهید ربات‌های گوگل در سریع ترین زمان ممکن صفحات شما را ایندکس کنند، در صفحات سایت حتما از لینک‌های داخلی استفاده کنید.

۴. اصلاح لینک‌های nofollow

این لینک‌ها نوعی لینک هستند که تگ nofollow برای آنها تعریف شده است. این لینک‌ها از انتقال ترافیک سایت به URL مقصد جلوگیری می‌کنند. البته گوگل هم این لینک‌ها را دنبال نمی‌کند و با مشاهده این تگ از ادامه پروسه ایندکس صرف نظر می‌کند. توصیه می‌شود حتما تمامی‌لینک‌های داخلی به لینک‌های دیگر، قابلیت follow ‌داشته باشند.

۵. به اشتراک گذاشتن مطالب در شبکه های اجتماعی با لینک

اگر مطالب خود را با لینک های فالو در شبکه های اجتماعی و یا دیگر بلاگ ها و انجمن ها به اشتراک بگذارید، شانس اینکه کراولر گوگل از آن طریق صفحه شما را شناخته و ایندکس کند نیز بالا می رود. با این روش یک بک لینک هم به دست آورده اید. در این مورد مقاله را مطالعه کنید.

۶. استفاده از محتوای با ارزش

مطمئن شوید از محتوای با ارزش و غیر تکراری در صفحات خود استفاده می‌کنید. تهیه محتوای با کیفیت بالا کار ساده ای نیست اما لازم است بدانید تا در صورتی که وب سایت شما دارای اطلاعات منحصر بفرد و ارزشمندی باشد که توضیحات مفیدی را در مورد محصولات یا خدمات شما به کاربران ارایه دهد، موتورهای جستجو نیز از آن مطلع شده و با افزایش رتبه صفحه مواجه می شوید.

۷. تاثیر بک لینک در ایندکس شدن سایت

 یکی از مشکلات بزرگی که اکثر سایت های تازه ساخته شده دچار آن هستند، ایزوله بودن وب سایت در فضای اینترنت می باشد. چنین سایت هایی هیچ گونه لینک خارجی ندارند و هیچ لینکی در وب سایت های دیگر به آن ها اشاره نمی کند. که این امر باعث می شودکه Crawler حتی از وجود چنین سایت هایی مطلع نشوند بنابراین نباید از تاثیر بک لینک در سئو غافل بود. در مقاله در این مورد شما را راهنمایی کرده ایم.

در نظر داشته باشید، ایندکس شدن سایت به معنی افزایش رتبه آن نیست. این دو مطلب کاملا جدا از هم هستند. اما شروع فرایند بهینه سازی ، با ایندکس شدن در گوگل آغاز می‌شود. با توجه به نکاتی که در خصوص ایندکس سایت در گوگل گفته شد، می‌توانید بسیاری از مشکلات ایندکس در گوگل را برطرف کنید

منابع مقاله:

تسمینو

blog.majestic.com