דף הבית -> Screaming Frog למתקדמים -> איך סורקים אתר שנמצא במצב "Under construction"

איך סורקים אתר שנמצא במצב "Under construction"

לעיתים קרובות כשמעלים אתר חדש  יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר – וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי – שמים את האתר במצב "תחת בניה".

ובדרך כלל יש הודעה לכלל באי האתר בסגנון הזה:

לרוב במערכות פתוחות כמו וורדפרס, מג'נטו, דרופל ודומיהן – ההודעה מוצגת רק למי שלא מחובר למערכת. כלומר רק גולש חיצוני יצפה – בזמן שבעלי הרשאות גישה שביצעו התחברות – יכולים לראות את האתר ולגלוש בו כרגיל במטרה לזהות באגים ולוודא שהכל עובד כמו שצריך לפני שפותחים אותו לקהל הרחב.

זו בדיוק ההזדמנות שלנו לסרוק את האתר ולוודא שגם מבחינת SEO האתר עולה כמו שצריך ללא תקלות.

אבל רגע… הצפרדע היא כמו גולש רגיל… אם נסרוק באמצעותה את האתר נקבל רק את עמוד "תחת בניה" שלנו…

אז לצפרדע יש אופציה שמאפשרת לנו לחבר אותה לאתר באמצעות שם וסיסמא וכך ל"לדלג" על חומת ה under construction.

מדריך חיבור Screaming Frog כמשתמש לאתר

לצורך העניין צריך להצטייד בכתובת הגישה (אם זה וורדפרס אז זה www.domain.com/wp-admin וכדומה), שם משתמש עם הרשאות גישה וסיסמא.

  1. הולכים ל Configuration -> Authentication
  2. בוחרים בטאב Form Based
  3. לוחצים על Add.
  4. מכניסים את הURL של ההתחברות ולוחצים OK
  5. עכשיו הצפרדע תפתח חלונית עם אזור ההתחברות של האתר:
  6. מכניסים את השם והסיסמא – ומוודאים שהחיבור הצליח ואנחנו במערכת הניהול של האתר – ולוחצים על כפתור OK שבתחתית החלונית.
  7. עכשיו נראה את דומיין האתר בForms Based. לוחצים OK

עכשיו בתכל'ס אפשר להתחיל לסרוק. אבל… יש לנו בעיה. הצפרדע היא כלי טיפש – הוא לא חושב בעצמו. והיא סורקת את כלל הלינקים – כולל לינק הLogout… ומה שיקרה אם נתחיל לסרוק זה שהצפרדע תסרוק את כלל הלינקים. כולל הסרגל Admin תגיע ל"יציאה מהמערכת" וזהו… תפסיק את הסריקה כי היא תקבל את עמוד ה Under Construction…

כמו כן – גם אם נמנע מהצפרדע להתנתק – מכיוון שהיא מחוברת למערכת היא פשוט תסרוק את כל לוח הבקרה. ואנחנו לא מעוניינים בזה.

אז מה עושים?

הכי פשוט – אם יש לכם אפשרות לבטל את הסרגל הזה – מומלץ (בוורדפרס עושים את זה דרך הגדרות הפרופיל).

אבל לפעמים כפתור ההתנתקות הוא בעמוד עצמו. מה עושים אז?

פשוט מגדירים לצפרדע שלא להכנס לקישור שעושה לוג אאוט.

הולכים בצפרדע ל: Configuration -> Exclude

ומכניסים 2 כתובות:

  1. כתובת ההתנקות מהמערכת שאתם נמצאים בה (פשוט בודקים מה הלינק של הכפתור…)
  2. הכתובת הראשית של מערכת הניהול. שהצפרדע לא תכנס פנימה.

בסוף כל כתובת מוסיפים את התווים .* (נקודה ואז כוכבית) כדי לוודא שלא רק הכתובת עצמה לא תסרק אלא כל מה שתחתיה.

לאתר וורדפרס זה נראה ככה (מוזמנים להעתיק ולשנות את הדומיין…):

http://example.com/wp-login\.php\?action=logout.*

http://example.com/wp-admin/.*

לוחצים OK – וזהו. אנחנו מוכנים לצאת לדרך!

לוחצים על START ומתחילים לראות תוצאות:

שימו לב שכל קישור שמכיל את הכתובות שחסמנו יראה כ Blocked עם סטטוס 0. והשאר יסרק כרגיל:

 

כדאי לקפץ גם...

הדוחות המיוחדים של הצפרדע

מעבר לניתוחים הרגלים שעושים עם הצפרדע ואפשרויות הייצוא המרובות מהטאבים – יש לצפרדע מספר דוחות מעניינים ששווה להכיר ולבדוק. במאמר הזה אני אתן סקירה קצרה על כל אחד מהדוחות הללו.

איך לוודא שגוגל סורק Infinite Scroll

האתר שלכם מציג פריטים בקטגוריות באמצעות Infinite Scroll? ייתכן והאתר שלכם לא נסרק כמו שצריך בגוגל ופריטים בקטגוריה לא יסרקו. מה זה בכלל Infinite Scroll, מה הייתרונות שלו על פני Pagination, מה החסרונות שלו מול גוגל - ואיך מוודאים (בעזרת הצפרדע) שגוגל סורק את האתר שלכם כמו שצריך.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

This site uses Akismet to reduce spam. Learn how your comment data is processed.