למה חסימת סריקה “הורגת” קידום
קידום אורגני וקידום במנועי AI מתחילים מסריקה. אם הבוט לא מצליח לגשת לעמודים שלך או מקבל הוראה לא לאנדקס — הוא פשוט לא יכניס את התוכן למערכת. זה מצב מתסכל כי אתה יכול להשקיע בעיצוב, בתוכן ובקישורים, ועדיין לא לראות הופעה בגוגל, כי ברמת התשתית האתר “סגור”.
באתרים חדשים זה קורה הרבה אחרי עלייה לאוויר: לפעמים נשארת חסימה מתקופת הפיתוח, לפעמים תוסף אבטחה או WAF מפרש בוטים כמתקפה, ולפעמים יש חוקים קשוחים בשרת או ב-Cloudflare.
ארבע שכבות שבהן בדרך כלל נמצאת החסימה
robots.txt
זה הקובץ שמגדיר לבוטים מה מותר ומה אסור לסרוק. שורה אחת יכולה לחסום תיקיות שלמות או אפילו את כל האתר. חשוב להבין: robots.txt חוסם סריקה, אבל לא תמיד חוסם אינדוקס (יש מצבים שבהם URL יכול להופיע בלי שהתוכן נסרק). לכן הוא רק חלק מהתמונה.
תגיות meta בתוך העמוד
אם בעמוד יש noindex, גוגל יכול לסרוק אבל לא יכניס לאינדקס. זה נראה מבחוץ כמו “האתר לא מתקדם”, למרות שהבעיה היא הוראה פנימית בעמוד עצמו.
headers ברמת השרת (X-Robots-Tag)
זו שכבה שאנשים מפספסים. אפשר להחזיר כותרת שמחילה noindex על קבצים, תיקיות או אפילו כל האתר, בלי שתראה משהו בקוד של העמוד.
חסימות שרת / חומת אש
כאן קורה “החסם הקשוח”: קודי 401/403/406/429, אתגרי אבטחה, או חסימה לפי User-Agent. במצב כזה גוגל פשוט לא מצליח לגשת, ולפעמים גם כלים של SEO לא מצליחים לסרוק.
איך לבדוק אם האתר חסום (How To)
שלב 1 – בדיקת robots.txt
פתחו את domain.com/robots.txt וחפשו הוראות Disallow שמרגישות רחבות מדי (למשל חסימה של / או של תיקיות קריטיות).
שלב 2 – בדיקת תגיות meta בעמודים חשובים
בדקו בעמודים מרכזיים שאין noindex או nofollow (לפחות לא בטעות). עמוד שירות / בית / קטגוריות הם הראשונים לבדיקה.
שלב 3 – בדיקת headers
בדקו אם מוחזר X-Robots-Tag: noindex או משהו דומה. זה יכול להסביר למה עמוד “לא נכנס” למרות שנראה תקין.
שלב 4 – בדיקת חסימות שרת/אבטחה
נסו לגשת לעמודים ממקום “ניטרלי” (חלון גלישה בסתר / רשת אחרת). אם יש חסימות, אתגרי אבטחה או שגיאות חוזרות — זו אינדיקציה מעולה לבעיה ברמת שרת או WAF.
שלב 5 – קבלת החלטה חד־משמעית
אם אין חסימה ב־robots/meta/headers, וגם אין קודי חסימה/אתגרים מהשרת — האתר לא חסום לסריקה. אם אחת השכבות חוסמת — יש חסימה שצריך לטפל בה לפני כל SEO.
סיכום
בדיקת חסימת סריקה היא אחד הדברים הראשונים שצריך לעשות אחרי בניית אתר או לפני תחילת קידום. ברגע שמאתרים איפה החסימה יושבת (robots / meta / headers / שרת), אפשר לפתור את זה מהר יחסית — אבל אם מדלגים על הבדיקה, כל מאמץ קידום עלול להיות בזבוז.
