איך סורקים אתר שנמצא במצב "Under construction"

לעיתים קרובות כשמעלים אתר חדש  יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר – וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי – שמים את האתר במצב "תחת בניה".

ובדרך כלל יש הודעה לכלל באי האתר בסגנון הזה:

לרוב במערכות פתוחות כמו וורדפרס, מג'נטו, דרופל ודומיהן – ההודעה מוצגת רק למי שלא מחובר למערכת. כלומר רק גולש חיצוני יצפה – בזמן שבעלי הרשאות גישה שביצעו התחברות – יכולים לראות את האתר ולגלוש בו כרגיל במטרה לזהות באגים ולוודא שהכל עובד כמו שצריך לפני שפותחים אותו לקהל הרחב.

זו בדיוק ההזדמנות שלנו לסרוק את האתר ולוודא שגם מבחינת SEO האתר עולה כמו שצריך ללא תקלות.

אבל רגע… הצפרדע היא כמו גולש רגיל… אם נסרוק באמצעותה את האתר נקבל רק את עמוד "תחת בניה" שלנו…

אז לצפרדע יש אופציה שמאפשרת לנו לחבר אותה לאתר באמצעות שם וסיסמא וכך ל"לדלג" על חומת ה under construction.

מדריך חיבור Screaming Frog כמשתמש לאתר

לצורך העניין צריך להצטייד בכתובת הגישה (אם זה וורדפרס אז זה www.domain.com/wp-admin וכדומה), שם משתמש עם הרשאות גישה וסיסמא.

  1. הולכים ל Configuration -> Authentication
  2. בוחרים בטאב Form Based
  3. לוחצים על Add.
  4. מכניסים את הURL של ההתחברות ולוחצים OK
  5. עכשיו הצפרדע תפתח חלונית עם אזור ההתחברות של האתר:
  6. מכניסים את השם והסיסמא – ומוודאים שהחיבור הצליח ואנחנו במערכת הניהול של האתר – ולוחצים על כפתור OK שבתחתית החלונית.
  7. עכשיו נראה את דומיין האתר בForms Based. לוחצים OK

עכשיו בתכל'ס אפשר להתחיל לסרוק. אבל… יש לנו בעיה. הצפרדע היא כלי טיפש – הוא לא חושב בעצמו. והיא סורקת את כלל הלינקים – כולל לינק הLogout… ומה שיקרה אם נתחיל לסרוק זה שהצפרדע תסרוק את כלל הלינקים. כולל הסרגל Admin תגיע ל"יציאה מהמערכת" וזהו… תפסיק את הסריקה כי היא תקבל את עמוד ה Under Construction…

כמו כן – גם אם נמנע מהצפרדע להתנתק – מכיוון שהיא מחוברת למערכת היא פשוט תסרוק את כל לוח הבקרה. ואנחנו לא מעוניינים בזה.

אז מה עושים?

הכי פשוט – אם יש לכם אפשרות לבטל את הסרגל הזה – מומלץ (בוורדפרס עושים את זה דרך הגדרות הפרופיל).

אבל לפעמים כפתור ההתנתקות הוא בעמוד עצמו. מה עושים אז?

פשוט מגדירים לצפרדע שלא להכנס לקישור שעושה לוג אאוט.

הולכים בצפרדע ל: Configuration -> Exclude

ומכניסים 2 כתובות:

  1. כתובת ההתנקות מהמערכת שאתם נמצאים בה (פשוט בודקים מה הלינק של הכפתור…)
  2. הכתובת הראשית של מערכת הניהול. שהצפרדע לא תכנס פנימה.

בסוף כל כתובת מוסיפים את התווים .* (נקודה ואז כוכבית) כדי לוודא שלא רק הכתובת עצמה לא תסרק אלא כל מה שתחתיה.

לאתר וורדפרס זה נראה ככה (מוזמנים להעתיק ולשנות את הדומיין…):

http://example.com/wp-login\.php\?action=logout.*

http://example.com/wp-admin/.*

לוחצים OK – וזהו. אנחנו מוכנים לצאת לדרך!

לוחצים על START ומתחילים לראות תוצאות:

שימו לב שכל קישור שמכיל את הכתובות שחסמנו יראה כ Blocked עם סטטוס 0. והשאר יסרק כרגיל:

 

כדאי לקפץ גם...

איך לבדוק את הנתונים המובנים (סכמה וכו) של האתר

החל מגרסה 11 של הסקרימינג פרוג - נוספה אפשרות של שליפת הנתונים המובנים של האתר. אלו למעשה תגיות סכמה או מיקרודאטה שמוסיפים לחלקים באתר על מנת לעזור לגוגל להבין מה קורה. אז איך בודקים שהם מוטמעים כמו שצריך? כנסו ותגלו

2 תגובות

  1. שמעון קידום אתרים

    הצפרדע היא כלי טיפש?

    • כן.
      הצפרדע היא כלי סריקה טיפש. או יותר נכון "עיוור" – אם לא ניתן לה הנחיות והגדרות מיותרות היא לא תתן לנו את המידע שאנחנו רוצים.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אתר זו עושה שימוש ב-Akismet כדי לסנן תגובות זבל. פרטים נוספים אודות איך המידע מהתגובה שלך יעובד.