راهنمای سرچ کنسول: crawl شده ولی ایندکس نشده

تیم رایانیتا می خواهد در این مقاله به موضوع راهنمای سرچ کنسول: crawl شده ولی ایندکس نشده بپردازد. تا حالا برایتان پیش آمده که در خصوص ایندکس کردن وب سایت خود با مشکل مواجه شوید؟ تاکنون از خودتان پرسیده اید که چرا گوگل سایت رو ایندکس نمیکند؟ در ادامه این مقاله در این باره صحبت می کنیم. با ما همراه باشید.(:

گزارش Google Index کاملاً خارق العاده است زیرا بینندگان واضح تری درباره تصمیمات crawling و indexing Google دارند. از زمان عرضه آن ، تقریباً هر روز در Go Fish Digital برای تشخیص فنی از آن استفاده می شود.

در این گزارش ، “وضعیت” های مختلفی وجود دارد که به مدیران وب سایت اطلاعاتی در مورد نحوه برخورد Google با محتوای سایت خود ارائه می دهد.

ایندکس گوگل به چه معناست؟

کلمه ایندکس (Index) به معنی فهرست است.وقتی می گوییم ایندکس گوگل منظور فهرستی است که گوگل در اختیار دارد. امروزه یکی از مواد مهم برای توسعه دهندگان وب و دارندگان وب سایت ایندکس شدن در گوگل است.

گوگل فعالیت خود را از زمانی که لینکی برای بررسی به او معرفی می شود، آغاز می کند. او ابتدا لینک و محتویات صفحه اصلی به همراه لینک های داخلی آن به صفحات دیگر را مورد بررسی قرار می دهد. سپس از طریق لینک، وارد صفحات مورد نظر شده و آن ها را هم نیز بررسی می کند. در هر بار یکی از عواملی که بررسی می شود، چگالی کلمات کلیدی است. این بررسی صفحات، لینک های داخلی آن و همچنین صفحات آن لینک تا جایی ادامه می یابد که گوگل هیچ‌گونه ارتباط خارجی از آن صفحه به دیگر صفحات نتواند پیدا کند. بعد این صفحات بسته به نوع کلمه کلیدی و معیاری هایی دیگر که برای گوگل مهم هستند، مورد رتبه بندی قرار می گیرند. هر صفحه که بررسی می شود، در پایگاه ایندکس گوگل ذخیره می شود.

crawl شده ولی ایندکس نشده

تعریف گوگل

بگذارید با تعریف رسمی گوگل خود شروع کنیم. طبق گفته های رسمی گوگل، این وضعیت به این معنی استکه : صفحه توسط گوگل پیدا شده است، اما ایندکس نشده است. ممکن است در آینده ایندکس شود و شاید هم نشود؛ بنابراین نیازی نیست که این URL را دوباره برای پیدا شدن ثبت کنید. بنابراین ،آنچه که ما می دانیم این است:

1. Google قادر به دسترسی به صفحه است
2. گوگل برای کراول صفحه زمان صرف کرد.
3. پس از crawling، گوگل تصمیم گرفت آن را در فهرست قرار ندهد.

نکته کلیدی در درک این وضعیت فکر کردن به دلایلی است که گوگل به خاطر آن‌ها آگاهانه تصمیم گرفته است که صفحه را ایندکس نکند.

می دانیم که گوگل در پیدا کردن صفحات مشکلی ندارد، اما ظاهراً به دلایل مختلفی کاربران از این پیدا کردن سودی نمی برند. این موضوع می تواند واقعاً آزاردهنده باشد، زیرا ممکن است شما ندانید چرا محتوای شما فهرست نمی شود. در زیر برخی از متداول ترین دلایلی که وجود دارد را در ادامه معرفی و بررسی می کنیم.

1-  False positives

اولین قدم ما همیشه انجام چند بررسی محلی از URL هایی است که در بخش “کراول ولی هنوز ایندکس نشده اند”انجام دهیم. اصلا غیر طبیعی نیست که URL هایی را پیدا کنید که  Exclude شده اند اما می بینید که در ایندکس گوگل وجود دارند.

اگر URLهایی را در این وضعیت گزارش شده دیدید، به شما پیشنهاد می کنیم که ابتدا از موتور های جستجوی سایت استفاده کنید تا مشخص شود که URL ایندکس شده است یا خیر. گاهی وقت ها، این موضوع به نظر مثبت های دروغین می آید.

2- RSS feed URLs

این یکی از متداول ترین نمونه هایی است که مشاهده می کنیم. اگر سایت شما از یک فید RSS استفاده می کند. ممکن است URL هایی را پیدا کنید که در گزارش “Crawl شده باشد ولی در حال حاضر ایندکس نشده” Google وجود دارد.

بسیاری از اوقات این URLها دارای یک رشته ” /feed/ ” در انتهای خود می باشند. آنها می توانند در گزارشات مانند تصویر زیر نشان داده شوند:

Google این URL های فیدRSS را که از صفحه اصلی پیوند داده شده است پیدا می کند. آنها اغلب با استفاده از عنصر “rel = alternate” مرتبط می شوند. افزونه های وردپرس مانند Yoast می توانند به طور خودکار این URL ها را تولید کنند.

راه حل: هیچ کاری نکنید! شما وضعیت خوبی دارید.

Google احتمالاً انتخاب می کند که این URL ها را فهرست نکند و دلیل خوبی هم دارد. اگر به URL فید RSS بروید ، یک سند XML خواهید یافت. اگرچه این سند XML برای فیدهای RSS مفید است ، اما نیازی نیست Google آن را در فهرست قرار دهد. این یک تجربه بسیار ضعیف است زیرا محتوا برای کاربران نیست.

3- 301redirects

یکی از مثال های جالبی که در این وضعیت می توانیم ببینیم URLهای مقصد صفحات مسیردهی شده دوباره هستند. معمولاً می بینیم که گوگل URLهای مقصد را شناسایی می کند. اما آن ها را در ایندکس وارد نمی کند. اما، با نگاه کردن به صفحه نتایج جستجو، می بینیم که گوگل لینک مسیردهی دوباره را ایندکس می کند. از آنجایی که لینک مسیردهی دوباره ایندکس می شود، لینک مقصد به گزارش ” کراول شده ، ایندکس نشده ” فرستاده می شود.

راه حل: sitemap.xml موقتی ایجاد کنید!

اگر این اتفاق برای تعداد زیادی از لینک ها می افتد، باید چند کار مهم را انجام دهید تا سیگنال قوی تری برای گوگل ارسال کنید. این مشکل ممکن است به این دلیل بوجود بیاید که گوگل در بازه زمانی معین مسیردهی شما را شناسایی نکرده است

برای ساخت یک sitemap موقتی، باید مسیردهی هایی قبلی را مهندسی معکوس کنید:

1. تمامی لینک های گزارش ” خزیده شده – ایندکس نشده ” را اکسپورت کنید.
2. با استفاده از نرم افزار اکسل آنها را با مسیردهی هایی که قبلاً راه اندازی کرده اید هماهنگ کنید.
3. تمامی مسیردهی هایی که دارای لینک های مقصد در بخش ” خزیده شده – ایندکس نشده ” هستند را پیدا کنید.
4. با استفاده از Screaming Frog یک xml ثابت از این لینک ها بسازید.
5. سایت مپ را آپلود کنید و در Search Console بخش ” خزیده شده – ایندکس نشده ” را زیر نظر بگیرید.

هدف در اینجا این است که Google URL های موجود در sitemap.xml موقت را بیشتر از آنچه در غیر این صورت وجود دارد ، جستجو کند. این منجر به تلفیق سریعتر این تغییر مسیرها می شود.

برای بالا بردن رتبه بندی سئو وب سایت خود در موتورهای جستجو گوگل لازم است که کارهایی را رعایت کنید. که این کار ها مربوط به الگوریتم های گوگل می شوند و بارعایت آنها رتیه بندی سئو خود را می توانید ارتقا دهید. برای همین به شما پشنهاد می کنیم تا مقاله 8 الگوریتم مهم گوگل را مطالعه کنید.((:

4-  محتوای تکراری Duplicate content

این بالاترین اولویتی است که وجود دارد. اگر گوگل محتوای شما را تکراری محسوب کند، ممکن است آن را شناسایی کند اما ایندکس نمی کند. این یکی از شیوه هایی است که با استفاده از آن گوگل از تکراری نبودن صفحه نتایج جستجو اطمینان حاصل می کند. با پاک کردن محتوای تکراری از ایندکس، گوگل اطمینان حاصل می کند که مخاطبان با تنوع زیادی از محتواهای خاص برای تعامل روبرو می شوند. بعضی اوقات گزارشات این لینک ها را به عنوان ” تکراری ” تعیین وضعیت می کنند، اما همیشه موضوع اینطوری نیست.

با افزودن المان های منحصر به فرد به محتوای تکراری این مشکل را حل کنید.

5- محتوای خصوصی Private-facing content

گاهی اوقات crawlerهای گوگل به محتواهایی دسترسی پیدا می کنند که نباید به آنها دسترسی داشته باشند. اگر Google در حال یافتن محیط های توسعه یافته باشد ، می تواند آن URL ها را در این گزارش قرار دهد. ما حتی مثال هایی از گوگل در حال شناسایی ساب دامین های مشخصی از مشتری که برای بلیط های JIRA راه اندازی شده است، دیده ایم. این باعث انفجاری در شناسایی وبسایت شده است، چرا که برروی لینک های تمرکز کرده است که اصلاً نباید برای ایندکس شدن به حساب آورده شوند.

راه حل آن این است که قدم های ایندکس شدن و شناسایی شدن خود را تنظیم کنید.