دلایل ایندکس نشدن سایت در گوگل + چک لیست رفع آن

گوگل سایتتان را نمی‌بیند؟ هیچ ترافیکی از طرف موتورهای جست‌وجو وارد سایتتان نمی‌شود؟ به احتمال قوی صفحات سایت‌تان ایندکس نمی‌شوند و در نتیجه، اصلاً داخل SERPها به نمایش درنمی‌آیند!

دلایل ایندکس نشدن سایت در گوگل فراوانند. در این مقاله، علاوه‌بر بررسی این دلیل‌ها، راجع‌به راهکارهای برطرف کردن آن‌ها هم صحبت خواهیم کرد تا به چشم گوگل بیایید!

منظور از ایندکس گوگل چیست؟

به زبان ساده، ایندکس گوگل، فرایندی است که طی آن ربات‌های موتور جست‌وجوی گوگل (که به آن‌ها «کرالر» یا خزنده گفته می‌شود)، صفحات مختلف وب را شناسایی، بررسی و ذخیره می‌کنند. هدف از این کار، ساختن یک پایگاه داده عظیم از محتواهاست که به آن «ایندکس» گفته می‌شود.

وقتی کاربری چیزی را در گوگل جست‌وجو می‌کند، گوگل با مراجعه به این ایندکس، مرتبط‌ترین صفحات را پیدا کرده و به او نمایش می‌دهد.

پس:

• «ایندکس کردن» یعنی بررسی و ذخیره صفحات وب در دیتابیس گوگل.

• و خود واژۀ «ایندکس»، اشاره به همان دیتابیس بزرگی دارد که گوگل برای نمایش نتایج از آن استفاده می‌کند.

اینجا لازم است به تفاوت این واژه با یک مفهوم دیگر هم اشاره کنیم.

نشانه‌های ایندکس نشدن سایت در گوگل چیست؟

اگر مطمئن نیستید که گوگل صفحات سایت شما را ایندکس می‌کند یا نه، وارد گوگل شده و نام سایتتان را با فرمت زیر سرچ کنید:

site:yourdomain.com

اگر نام سایتتان در نتایج ظاهر نشد، می‌توانید مطمئن باشید که گوگل هیچ‌کدام از صفحاتتان را ایندکس نمی‌کند‍!

روش دیگر، استفاده از سرچ کنسول (Google Search Console) است. بعد از وارد شدن به پنل سرچ کنسول، سراغ ابزار URL Inspection Tool رفته و URL خود را در آن بنویسید. اگر ابزار پاسخ زیر را نشان داد، یعنی صفحۀ سایتتان ایندکس شده و مشکلی ندارد:

URL is on Google

در غیر این‌ صورت، دلایل ایندکس نشدن سایت در گوگل را مشاهده خواهید کرد؛ مثلاً Excluded by ‘nodindex’ tag یا Blocked by robots.txt.

همچنین، می‌توانید در همان Google Search Console به بخش Indexing و Pages بروید تا راجع‌به وضعیت ایندکس شدن یا نشدن سایتتان اطلاعات لازم را به دست بیاورید؛ اینجا گزارش کاملی می‌بینید از صفحاتی که بدون مشکل ایندکس می‌شوند و صفحاتی که به‌ دلایل مختلف به دیتابیس محتواهای گوگل (همان Index) راه پیدا نکرده‌اند.

حالا بیایید برویم سراغ دلایل ایندکس نشدن سایت در گوگل؛ چه می‌شود که چنین مشکلی برای سایت پیش می‌آید؟

چرا وب‌سایت شما توسط گوگل ایندکس نمی‌شود؟

همین اول کار تکلیف یک موضوع را روشن کنیم:

گاهی ممکن است علت ایندکس نشدن سایت، تصمیمات مدیر سئو یا صاحب سایت باشد! چون آن‌ها به دلایل مختلف صلاح دیده‌اند که یک یا چند صفحه، برای مدتی موقت (یا حتی همیشه) در دیتابیس گوگل ذخیره نشوند!

این را گوشۀ ذهن داشته باشید و بیایید دلایل ایندکس نشدن سایت در گوگل را بررسی کنیم.

۱. سایتتان موبایل فرندلی نیست!

آمارها می‌گویند بیشتر از ۶۳ درصد ترافیک تمامی سایت‌ها در سال ۲۰۲۵ از موبایل‌های هوشمند می‌آیند! گوگل با در نظر گرفتن این موضوع، اهمیت زیادی به موبایل فرندلی بودن یا نبودن یک سایت می‌دهد.

بگذارید خیالتان را راحت کنیم:

هرچقدر هم محتوای خفن و ارزشمندی روی سایتتان آپلود کنید، اگر کاربر موبایلی و ربات‌های گوگل نتوانند به‌راحتی به آن دسترسی داشته باشند، ممکن است گوگل آن صفحه را یا اصلاً ایندکس نکند، یا خیلی دیر ایندکس کند که در هر دو صورت، به ضرر سایت سئو سایت‌تان است.

بهینه‌سازی سایت برای موبایل‌های هوشمند کار پیچیده‌ای نیست؛ مهم‌ترین اصلی که باید رعایت کنید، استفاده از دیزاینی ریسپانسیو است که ظاهر درستی از سایت روی همۀ انواع نمایشگرها به تصویر می‌کشد.

همچنین، پیروی از اصولی مثل fluid grids و CSS Media Queries خیالتان را راحت خواهد کرد که کاربران موبایلی می‌توانند آنچه می‌خواهند را به‌آسانی پیدا کنند؛ بدون اینکه در گشت‌وگذار سایت با مشکل خاصی مواجه شوند.

اگر نمی‌دانید سایت موبایل فرندلی است یا نه، از ابزارهایی مثل Google’s Mobile-Friendly Testing Tool کمک بگیرید.

۲. کدنویسی سایت‌تان مشکل دارد

شاید کمی دور از ذهن به نظر برسد، ولی حتی کدنویسی سایت تأثیر مستقیمی روی ایندکس شدن صفحات توسط گوگل دارد.

اگر ساختار HTML سایت تمیز، استاندارد و قابل فهم نباشد یا محتوای اصلی با جاوااسکریپت لود شود (بدون بهینه‌سازی مناسب)، ممکن است ربات‌های گوگل نتوانند محتوای صفحه را بخوانند یا آن را خیلی دیر ایندکس کنند.

کدنویسی تمیز سایت، به گوگل کمک می‌کند تا راحت‌تر ساختار محتوا را درک کند. در مقابل، کدهای شلوغ، تکراری یا صفحات داینامیک بی‌هدف می‌توانند بودجه خزش گوگل را هدر بدهند و باعث شوند بخشی از سایت اصلاً ایندکس نشود!

بنابراین، نوشتن کدی تمیز، ساختارمند و SEO-friendly یکی از پایه‌های حیاتی برای ایندکس سایت محصوب می‌شود.

۳. سرعت بارگذاری سایت‌تان پایین است

سرعت پایین بارگذاری سایت می‌تواند تأثیر منفی روی ایندکس شدن آن داشته باشد. چرا؟

چون گوگل برای کراول کردن هر سایت، یک مقدار مشخص زمان و منابع در نظر می‌گیرد که به آن بودجه خزش یا Crawl Budget می‌گویند. اگر سایت‌تان کند باشد، خزنده‌های گوگل در این زمان مشخص، فقط تعداد کمی از صفحات را می‌توانند کراول و شناسایی کنند؛ این‌طوری خیلی از صفحات سایت‌تان ممکن اصلاً کراول نشوند، چه برسد به ایندکس شدن!

فاکتورهای متعددی روی کند شدن سایت تأثیر می‌گذارند؛ ولی اصلی‌ترین فاکتور موثر در سرعت سایت، کیفیت هاست است.

اگر هاستی که برای میزبانی سایت‌تان انتخاب می‌کنید سرعت مناسبی داشته باشد:

• سرعت بارگذاری صفحات سایت‌تان بالا می‌رود،
• ربات‌های گوگل می‌توانند راحت‌تر به همه صفحات دسترسی داشته باشند،
• احتمال خطاهای سمت سرور (5xx) کاهش پیدا می‌کند،
• تجربه کاربر بهتر می‌شود،

و همه این‌ها باعث می‌شود بودجه خزش گوگل بهینه‌تر مصرف شود و در نتیجه صفحات بیشتری از سایت‌تان ایندکس شوند.

اگر دنبال هاستی با عملکرد بهینه و سرعت تضمین‌شده می‌گردید، می‌توانید نگاهی به صفحه خرید هاست لیموهاست انداخته و با توجه به ویژگی‌هایی که در نظر دارید، از بین پلن‌های میزبانی یکی را انتخاب کنید.

خرید انواع هاست 🍋

بهترین سرویس‌های میزبانی وب را از لیموهاست بخواهید

ما متناسب با نیازهای شما، سرویس‌های مختلفی را با سرعت و قدرت فوق‌العاده و قیمت‌های به‌صرفه آماده کرده‌ایم.

شروع قیمت از
سالیانه ۵۹۰ هزار تومان

خرید هاست

نکته: ابزارهایی مثل Google Page Speed Insights و سایت‌هایی مثل webpagetest.org می‌توانند اطلاعات به‌دردبخوری راجع‌به وضعیت سرعت سایتتان و دلایل کندی‌های احتمالی در اختیارتان قرار داهند.

۴. محتوای ارزشمند و یونیک تولید نمی‌کنید!

گوگل به محتوای «مفید» و «ارزشمند» خیلی اهمیت می‌دهد؛ شاید بیشتر از هر چیزی دیگری! اگر مقدار محتوای روی سایت‌تان از استاندارد حوزه‌ای که در آن فعالیت دارید کمتر باشد، احتمالاً وارد ایندکس گوگل نخواهید شد؛ یا در بهترین حالت، جایگاهی پایین‌تر ۵۰ نتیجۀ برتر را تصاحب خواهید کرد.

با استناد به گفته searchenginejournal، محتواهای متنی‌ای که کمتر از ۱۰۰۰ کلمه داشته باشند، به‌اندازۀ محتواهای متنی‌ای که بیشتر از ۱۰۰۰ کلمه طول دارند، موفق عمل نمی‌کنند! البته که شرایط برای سایت‌های مختلف با موضوع فعالیت‌های گوناگون متفاوت است.

باید تأکید کنیم که کیفیت محتوا اهمیت بیشتری از حجم آن دارد؛ ولی با وجود این، گوگل برای محتواهای جامع (که خب قاعدتاً طولانی‌تر هستند)، ارزش بیشتری قائل می‌شود.

به‌طور کلی، محتوای سایتتان باید یونیک و کاربردی بوده و شامل اطلاعات به‌دردبخوری باشد؛ این محتوا باید بتواند پاسخ پرسش‌های کاربران را بدهد و در این عین درگیر نگه داشتن او، مسائل را از زاویه‌ای متفاوت بررسی کند.

اگر محتواهای سایت این خصوصیات را نداشته باشند، ممکن است گوگل حتی صفحات را به ایندکس هم نفرستد و به‌جای آن، سراغ صفحات سایت‌های رقیب برود که محتویات ارزشمندتری دارند!

۵. سایت‌تان به اندازه کافی جذاب و کاربرپسند نیست

از نظر گوگل، سایتی ارزش ایندکس شدن دارد که بتواند بازدیدکنندگان را به خود درگیر کند؛ به بیان بهتر، کاربرپسند باشد!

اگر بازدیدکنندگان بتوانند چیزی که دنبالش می‌گردند را به‌راحتی پیدا کنند و گشت‌وگذار در بخش‌های مختلف سایت برایشان آسان باشد، گوگل صفحات سایت را زودتر ایندکس می‌کند و به برترین جایگاه‌های نتایج جست‌وجو خواهد فرستاد.

گوگل معتقد است کاربران نباید وقت خود را در صفحات زیر هدر دهند:

• صفحاتی که لود شدن آن‌ها زمان زیادی طول می‌کشد؛
• صفحاتی که گشتن در آن‌ها سخت است و پیدا کردن اطلاعات مورد نیاز برای کاربر را پیچیده می‌کنند؛
• صفحاتی که شامل عوامل حواس‌پرتی زیادی برای کاربر می‌شوند.

مثال بزنیم:

اگر در هر دسته‌بندی، به‌جای چندین محصول، فقط یک محصول قرار داده باشید، بعید است که گوگل صفحه‌تان را به لیست ایندکس بفرستد؛ به‌علاوه، توصیه می‌کنیم برای بهتر کردن وضعیت سئو، به‌جای تمرکز صرف روی کلمات کلیدی، بین صفحات و مقالات مرتبط لینک‌سازی کنید؛ این‌طوری می‌توانید تجربۀ کاربری بازدیدکنندگان را چند پله بالاتر ببرید و چاره‌ای برای یکی از اصلی‌ترین دلایل ایندکس نشدن سایت در گوگل بیندیشید.

پس در مجموع، اگر سایتتان نمی‌تواند بازدیدکننده را درگیر صفحاتش کند، نباید از گوگل به‌خاطر ایندکس نکردن صفحاتتان شاکی باشید!

۶. ریدایرکت‌ها ساختار درستی ندارند

فرض کنید یک URL به URL دیگری ریدایرکت شده باشد؛ تا اینجا هیچ مشکلی هیچ وجود ندارد؛ ولی در ادامۀ سناریو، فرض بگیرید URL مقصد دوباره به URL مبدأ لینک شده باشد! یعنی A به B ریدایرکت شود و B دوباره برمی‌گردد به A یا به C که نهایتاً برمی‌گردد به A.

اینجا با یک لوپ ریدایرکت مواجه هستیم. وقتی خزنده‌های گوگل دنبال صفحه‌ای هستند، ولی دائماً به صفحه‌ای ریدایرکت می‌شود که وجود ندارد یا تکرار می‌شود، ربات‌ها گیج می‌شوند، بودجه خزش هدر می‌رود و آن صفحه و صفحات مرتبط ایندکس نمی‌شو د!

راه‌ حل این مشکل ایندکس نشدن سایت در گوگل به شکل زیر است:

صفحه‌ای که باعث Loop Redirect می‌شود را پیدا کنید. اگر سایتتان وردپرسی است، دو راه دارید:

• پیدا کردن HTML Source یکی از پست‌هایتان در این صفحه
• استفاده از فایل htaccess. و گشتن دنبال ریدایرکت‌های ۳۰۱

همچنین توصیه می‌کنیم انواع ریدایرکت‌های ۳۰۲ را هم درست کنید.

ضمناً، می‌توانید از find در Window Explorer (یا ترکیب دو کلید Command و f در مک) استفاده کرده و با سرچ عبارت redirect، این مشکل را ریشه‌یابی کنید. برطرف کردن هرگونه غلط املایی که موجب لوپ ریدایرکت می‌شود هم ضروری است.

۷. اشتباهی در فایل robots.txt رخ داده!

فایل robots.txt یک فایل متنی ساده‌ست که در روت سایت قرار می‌گیرد و مشخص می‌کند که ربات‌های گوگل اجازه خزیدن به کدام بخش‌ها و صفحات سایت را دارند.

اگر داخل این فایل، به اشتباه دستوری بنویسید که مانع خزش کرالرها به صفحه یا صفحه‌هایی شود، گوگل نمی‌تواند به این صفحات دسترسی داشته باشد و آن‌ها را ایندکس کند.

مقالۀ «فایل Robots.txt چیست و چه کاربردی در سئو تکنیکال سایت دارد؟» می‌توانید بیشتر در این باره بخوانید و نحوه نوشتن این فایل را یاد بگیرید.

۸. متاتگ‌ها را روی Noindex و Nofollow تنظیم کردید

گاهی ناخواسته، تگ‌های متا روی Noindex یا Nofollow تنظیم می‌شوند! در چنین شرایطی، صفحات سایتتان ایندکس نخواهند شد.

موافق یک مثال فرضی هستید؟

ممکن است صفحه‌ای روی سایتتان داشته باشید که قبلاً توسط کرالرهای گوگل ایندکس شده باشد؛ حالا فرض بگیرید که می‌خواهید این صفحه را پاک کرده و یادتان می‌رود قبل از انجام این کار، صفحه را noindex (یا Nofollow) کنید! در نتیجۀ این اتفاق، ممکن است آن صفحه هیچوقت دوباره ایندکس نشود.

خلاصه که گاهی مشکل از تنظیمات اشتباه متاتگ‌ها است. صفحات را بررسی کنید تا مطمئن شوید خبری از تگ‌‌های Noindex و Nofollow نیست.

۹. توسط گوگل پنالتی شدید!

عدم رعایت قوانین این موتور جست‌وجو، به جریمه شدن سایتتان منجر خواهد شد. خود گوگل هم بارها به این موضوع اشاره کرده است.

اگر قبلاً تخلفی مرتکب شده و زیر تیغ پنالتی گوگل رفته باشید، تا زمان پاک نکردن اثرات کار اشتباه خود، محال است شاهد ایندکس شدن صفحاتتان باشید!

نکتۀ مهم: از آنجایی که گوگل با اختلاف بزرگ‌ترین موتور جست‌وجو در اینترنت است، جریمه شدن توسط آن یعنی رفتن به سایه‌ها و خارج شدن از دید میلیاردها کاربر اینترنتی. جالب است بدانید بیشتر سایت‌هایی که گرفتار این مشکل به‌خصوص شدند، کلاً کسب‌وکار خود را تعطیل کردند!

با این وجود، ممکن است اگر رد و اثر اشتباهات گذشتۀ خود را از بین ببرید، گوگل هم از در شفقت وارد شده و شما را ببخشد.

هرچند، اغراق نیست اگر بگوییم باید از صفر شروع کرده و برای رسیدن به جایگاه‌های برتر عرق جبین بریزید. بعد باید منتظر بمانید و ببینید درهای این زندان نامرئی چه زمانی باز خواهند شد و دوباره کِی به ایندکس گوگل برمی‌گردید.

۱۰. وضعیت سئو تکنیکال سایت‌تان تعریفی ندارد

همان‌طور که می‌دانید، بهینه‌سازی برای موتورهای جست‌جو یا همان SEO، سه جنبۀ اصلی دارد که سئو تکنیکال یکی از آن‌ها است. قبلاً در مقالۀ «سئو چیست؟ آموزش مبانی SEO به زبان خیلی ساده» کامل و مفصل راجع‌به هر ۳ جنبه صحبت کرده‌ایم.

یکی از دلایلی ایندکس نشدن سایت در گوگل، وضعیت نامناسب سئو تکنیکال سایت است؛ این‌ها اشکالاتی هستند که ممکن است در Technical SEO دیده شوند و نگذارند صفحات سایت به ایندکس گوگل راه پیدا کنند:

1. نمرۀ ضعیف در Core Web Vitals یا CWV
2. مشکلات مختص کرالینگ و ایندکسینگ
3. بلاک شدن ناخواستۀ ربات‌های گوگل توسط فایل robots.txt

برای رفع مشکل اول، خود ابزار Core Web Vitals راهکارهایی ارائه می‌کند که خوب هستند، ولی کافی نیستند! باید به عمق ماجرا بروید و یک بررسی همه‌جانبه روی سایت داشته باشید تا بفهمید نمرۀ پایین هر بخش، ناشی از چه ضعف‌هایی است.

مشکل دوم معمولاً به‌خاطر ایرادات خیلی فنی رخ می‌دهد که بهتر است توسط یک مختصص حرفه‌ای سئو به آن‌ها رسیدگی شود. مشکل سوم هم همین‌طور؛ چون دستکاری فایل robots.txt هم کار نسبتاً پیچیده‌ای است و برای اطمینان از اینکه دردسرهای جانبی گریبانگیرتان نخواهند شد، بهتر است برطرف کردن آن را به یک سئوکار خبره بسپارید.

تا اینجا با اصلی‌ترین دلایل ایندکس نشدن سایت در گوگل آشنا شدیم؛ حالا بیایید یک قدم جلوتر برویم و برای برطرف کردن این مشکل خانه‌خراب‌کن، یک دستورالعمل کاربردی تقدیمتان کنیم!

چک لیست رفع مشکل ایندکس نشدن سایت در گوگل

این چک‌لیست حاوی ۱۰ مرحله است که باید آن‌ها را به‌ترتیب پشت‌سر بگذارید تا مشکل عدم نمایش سایت وردپرسی در گوگل حل شود.

۱. اطمینان از قابل کرال شدن سایت

قبل از انجام هر کاری، باید مطمئن شوید که سایتتان در دسترس ربات‌ها قرار دارد.

می‌توانید به‌سادگی وارد یک مرورگر اینترنتی (مثلاً Google Chrome) شده و ببینید بعد از نوشتن URL سایت چه صفحه‌ای نمایش داده می‌شود. اگر صفحات سایت با سرعت کمی بارگذاری می‌شوند، یا به‌جای صفحۀ اصلی کدهای خطا (مثلاً ۴۰۴) را می‌بینید، یعنی گوگل و ربات‌هایش هم به سایتتان دسترسی ندارند.

اگر سایت بالا نمی‌آید، اول از همه وارد اکانت هاستی که از آن سرویس می‌گیرید بشوید تا ببینید آیا اطلاعیه‌ای دربارۀ اختلال در عملکرد سرورها وجود دارد یا نه. در چنین شرایطی، کاری از دستتان برنمی‌آید جز صبر کردن؛ اگر اختلال بیش از حد طولانی شد، یا به‌دفعات زیادی اتفاق می‌افتد، بهتر است به فکر تغییر هاست سایت باشید و سراغ خدمات یک ارائه‌دهندۀ معتبر بروید.

علاوه‌بر این‌ها، گاهی تغییر تنظیمات سایت باعث از دسترس خارج شدن صفحات آن می‌شوند؛ مثلاً اگر هنگام اعمال تغییر روی صفحات تنظیمات Maintenance Mode را فعال کرده باشید، سایت نه برای کاربران بالا می‌آید، نه برای کرالرها.

۲. بررسی متصل بودن دامنه به هاست

دامنه‌ای که برای سایت خریده‌اید باید به‌درستی به هاست وصل شود تا سایت بالا بیاید و در دسترس قرار بگیرد.

بنابراین، در اولین قدم، از تنظیمات درست DNS اطمینان حاصل کنید. همۀ رکوردها باید درست تنظیم شوند تا دامنه به هاست متصل باشد. تنظیمات درست DNS باید توسط هاستینگ در اختیارتان قرار بگیرند.

همچنین، تنظمیات نیم‌سرورها هم باید درست باشند؛ نیم‌سرورها وظیفه دارند ترافیک ورودی به دامنه را به سمت سرور درست هدایت کنند.

توجه داشته باشید که بعد از اعمال تغییرات روی تنظیمات DNS و نیم‌سرورها، باید چند ساعت (حداکثر ۴۸ ساعت) منتظر بمانید تا کار انجام بگیرد و ارتباط بین دامنه و هاست برقرار شود. با استفاده از ابزارهایی مثل WhatsMyDNS می‌توانید مطمئن شوید که تمام شبکۀ جهانی اینترنت از تغییرات مطلع شده‌اند.

۳. بررسی ایندکس شدن یا نشدن صفحات سایت‌ها

بالاتر راجع‌به این بخش از فرایند صحبت کردیم؛ گفتیم با سرچ URL در گوگل، می‌توانید مطمئن شوید که خود سایت ایندکس می‌شود.

بعد از انجام این کار، ببینید چه صفحاتی در نتایج لیست می‌شوند؛ حضور صفحۀ اصلی و صفحات مهم دیگر در SERP نشانۀ خوبی است؛ اما اگر اثری از صفحات اصلی به چشم نمی‌خورد، یعنی یک جای کار بدجوری لنگ می‌زند!

بعد از اینکه متوجه عدم حضور برخی از صفحات مهم شدید، بروید سراغ فایل robots.txt و تنظیمات آن را بررسی کنید؛ ممکن است ناخواسته دسترسی کرالرها به برخی محتواها را مسدود کرده باشید. همچنین، پیشنهاد می‌کنیم sitemap را هم بررسی کنید تا مطمئن شوید آن صفحات در ساختاربندی سایت لحاظ شده‌اند.

۴. بازبینی اساسی فایل robots.txt

توضیح دادیم که این فایل، نقش مهمی در تعیین دسترسی‌ها برای ربات‌های گوگل دارد؛ پس بازبینی تنظیمات این فایل و اطمینان از درستی آن‌ها، یکی از اقدامات ضروری در جهت برطرف کردن دلایل ایندکس نشدن سایت در گوگل است.

robots.txt معمولاً در فولدر root سایت قرار دارد. هر طوری که دوست دارید آن را پیدا کرده و باز کنید.

وجود این تکه خط در فایل به‌معنای جلوگیری از دسترسی کرالرها است:

* :User-agent / :Disallow

اسلش (/) را بردارید تا تنظیمات درست شوند و کرالرها اجازۀ دسترسی به صفحات سایت را پیدا کنند:

* :User-agent  :Disallow

فایل را ذخیره کرده و آن را دوباره روی هاست سایت بارگذاری کنید تا راه ورود ربات‌های گوگل به سایت باز شود.

۵. استفاده از سرچ کنسول گوگل (Google Search Console)

این ابزار کاربردهای خیلی زیادی برای بررسی عمکلرد صفحات سایت (در نتایج جست‌وجو) دارد. اطلاعات ارزشمند سرچ کنسول، از خطاهای مرتبط با کرال کردن گرفته تا وضعیت ایندکس هر صفحه، اجازه می‌دهد سایتتان را برای تصاحب رتبه‌های برتر در نتایج جست‌وجو بهینه کنید.

بنابراین، برای رفع مشکل ایندکس شدن سایت در گوگل، به این ابزار هم نیاز خواهید داشت.

با استفاده از جیمیل خود وارد ابزار شده و سایتتان را در آن ثبت کنید. با کمی گشت‌وگذار در داشبورد این پلتفرم، کلی قابلیت به‌دردبخور می‌بینید که می‌توانید از آن‌ها برای بهتر کردن وضعیت سئو سایت کمک بگیرید.

۶. احراز مالکیت بر سایت در سرچ کنسول

دسترسی به تمام قابلیت‌های سرچ کنسول ممکن نیست، مگر با اثبات اینکه شما (شخص استفاده‌کننده) مالک سایت هستید! با این کار، سرچ کنسول مطمئن می‌شود که اطلاعات حساس در اختیار افرادی که نباید، قرار نمی‌گیرند.

سرچ کنسول دو راه پیش رویتان گذاشته است:

• DNS Method: ورود به اکانت رجیسترار دامنه و اضافه کردن یک رکورد TXT به تنظیمات DNS.
• HTML Method: اضافه کردن یک فایل تأییدیه HTML سبک (ارائه‌شده توسط گوگل) به فولدر روت سایت، یا اضافه کردن یک متاتگ به هدر صفحۀ اصلی.

بعد از انتخاب هرکدام از این دو روش، سرچ کنسول اطلاعات را بررسی و اگر همه‌چیز درست باشد، تأییدیه‌ای به آدرس ایمیلتان ارسال می‌کند.

۷. ساخت و ثبت XML sitemap

XML sitemap حکم نقشۀ راه را برای کرالرهای موتورهای جست‌وجو بازی می‌کند؛ نقشه‌ای که به این ربات‌ها می‌گوید باید سراغ کرال کردن و ایندکس کدام صفحات بروند. به بیان دیگر، با ثبت سایت‌مپ در سرچ کنسول، خیالتان راحت می‌شود که تمام صفحات مهم سایت دیده خواهند شد.

نکته: XML sitemap معمولاً به‌شکل خودکار توسط CMSها یا پلاگین‌های جانبی ساخته می‌شود؛ اما در صورت نیاز، می‌توانید این نقشۀ راه را به‌صورت دستی هم بسازید.

بعد از ساخته‌ شدن سایت‌مپ، باید URL اختصاصی آن را کپی کرده و در Google Search Console ثبت کنید.

برای این کار، بعد از ورود به داشبورد این پلتفرم، وارد بخش Sitemap شوید و URL را در آن پیست کنید.

بعد از ثبت XML sitemap، کرالرها شروع می‌کنند به کندوکاو صفحات درج‌شده در آن و به این ترتیب، وضعیت ایندکس کردن صفحات سایت بهتر می‌شود.

هر دفعه که تغییرات بزرگی در ساختاربندی سایت اعمال کردید (مثلاً اضافه کردن صفحات جدید و حذف محتوای قدیمی)، باید دوباره سایت‌مپ جدید را در سرچ کنسول ثبت کنید.

این‌طوری کرالرها متوجه تغییرات خواهند شد و می‌توانید درخواست خود برای ایندکس دوبارۀ سایت را ثبت کنید.

توجه داشته باشید که بعد از انجام هر تغییر کوچکی لازم نیست این کار را انجام دهید! بارگذاری مجدد سایت‌مپ فقط باید زمانی صورت بگیرد که تغییرات بزرگ و چشمگیر هستند؛ مثلاً اضافه کردن یک‌بارۀ چندین بلاگ‌پست یا افزودن تعداد زیادی محصول جدید به سایت.

نکتۀ مهم بعدی اینکه باید وضعیت سایت‌مپ ثبت‌شده در سرچ کنسول را با دقت بالا زیر نظر بگیرید. به بخش Sitemaps در Google Search Console بروید و از آنجا ببینید کدام صفحات با موفقیت ایندکس شده‌اند؛ اگر هم مشکلی در کار باشد، در این بخش آن‌ها را خواهید دید.

اگر کرالرها با مشکل‌هایی مثل تگ‌های noindex یا لینک‌های خراب مواجه شوند، جلوی صفحاتی که تحت تأثیر این مشکلات قرار گرفته‌اند، پیام خطای not indexed را خواهید دید؛ بنابراین، می‌توانید با رفع مشکل و ثبت درخواست کرال کردن مجدد، صفحه‌هایی که جا مانده‌اند را به ایندکس گوگل بفرستید.

ضمناً، با استفاده از گزارش‌های این بخش، اطلاعات خوبی دربارۀ چگونگی کرال شدن سایت توسط ربات‌های گوگل به دست خواهید آورد.

۸. شناسایی مشکلات رایج Indexing

حتی بعد از ثبت XML sitemap هم ممکن است مشکلاتی باقی بمانند که باعث ایندکس نشدن سایت شوند. مشکلاتی مثل تگ‌های noindex و nofollow که بالاتر مفصل راجع‌به آن‌ها صحبت کردیم؛ و البته ریدایرکت‌های اشتباه و لینک‌های خراب که ربات‌ها را گمراه می‌کنند.

مسئلۀ دیگر، محتواهای تکراری است که باعث می‌شوند کرالرها نتوانند URL درست را به Index بفرستند! تگ‌های کنونیکال، بهترین راهکار برای غلبه بر این دلیل از دلایل ایندکس نشدن سایت در گوگل هستند.

۹. سرمایه‌گذاری روی سئو سایت

بعد از اینکه به تمام مسائل زیرساختی رسیدگی کردید، وقت بهینه‌سازی حداکثری سایت با هدف تصاحب جایگاه‌های برتر در نتایج جست‌وجو می‌شود. این کار فرایند ایندکس شدن صفحات سایت را سریع‌تر می‌کند.

لینک‌سازی داخلی بین صفحات مرتبط، گرفتن بک‌لینک‌های معتبر، افزایش سرعت بارگذاری سایت روی موبایل‌های هوشمند، استفاده از schema markup و البته به‌روزرسانی مداوم محتواهای سایت، جزو اصلی‌ترین اقداماتی هستند که برای بهبود SEO فایده دارند.

این هم از چک‌لیست اقداماتی که انجام آن‌ها برای رفع مشکل ایندکس نشدن سایت در گوگل ضروری است.

در بخش بعدی، به پرسشی پاسخ خواهیم داد که به احتمال زیاد، ذهنتان را درگیر کرده است.

چقدر طول می‌کشد تا گوگل سایت شما را ایندکس کند؟

بستگی دارد!

با در نظر گرفتن اعتبار دامنه، قدمت سایت، کیفیت بک‌لینک‌ها، در دسترس بودن سایت و…، کرال شدن صفحات سایت و ایندکس آن‌ها می‌تواند از چند ساعت تا چندین هفته طول بکشد!

طبیعتاً ربات‌ها زودبه‌زود سراغ سایت‌های پرترافیک، معتبر و معروف‌تر می‌روند و می‌خواهند جدیدترین صفحات آن‌ها را به ایندکس گوگل بفرستند؛ در نقطۀ مقابل، سایت‌هایی که بازدیدکنندگان زیادی ندارند و خیلی شناخته‌شده نیستند (مثل سایت‌های تازه‌تأسیس و در مسیر رشد)، باید مدت‌زمان طولانی‌تری برای ورود کرالرها به انتظار بنشینند.

دیگر وقت آن است که برویم سراغ جمع‌بندی این مقالۀ مفصل، با یادآوری یک نکتۀ خیلی مهم.

تأثیر هاست با کیفیت را روی ایندکس شدن سایت دست‌کم نگیرید!

در این مقاله، هم دلایل ایندکس نشدن سایت در گوگل را زیر ذره‌بین بردیم، هم چک‌لیستی ارائه کردیم شامل راهکارهای به‌دردبخور برای سریع‌تر ایندکس شدن سایت. امیدواریم توانسته باشیم مقاله‌ای درخور تقدیمتان کنیم که مشتاقانه لینک آن را برای دیگر دوستانتان هم بفرستید.

اگر همچنان سؤالی در این رابطه دارید، همین زیر برایمان کامنت بگذارید.