דף הבית -> Screaming Frog למתקדמים -> שימוש ב Screaming Frog למעקב קישורים

שימוש ב Screaming Frog למעקב קישורים

מקדמי אתרים עושים קישורים. ככה זה עובד. אבל אנחנו עושים מלאאאאא קישורים. ותמיד יש חשש שעשינו החלפה מול מקדם פח שהוריד קישור, או שהוחלף אתר בלי לשמור על הקישור, או שקישורים שבנינו בכל מני מקומות מפוקפקים הוסרו.

ולמי יש כוח לבדוק קישורים ידנית?

נכון – יש המון כלים שעושים בדיקה של באקלינקס ומתריעים על הסרה. אבל הם עולים כסף… ורשיון לצפרדע כבר יש לנו – אז למה לא להשתמש בפיצ'רים של הצפרדע לבדיקת קישורים?

לצורך העניין עליכם להצטייד ברשימה של העמודים מהם הוציאו לכם את הקישור.

וכמובן – להגדיר את החיפוש בצפרדע:

אנחנו הולכים לבקש מהצפרדע לבדוק בקוד איפה יש קישור לאתר שלנו – ולשלוף אותו יחד עם האנקור שלו (כדי שנדע איך הוא מקושר אלינו) – ואת זה עושים בצורה הבאה:

נכנסים לצפרדע.

configuration -> custom -> extraction

בשורה הראשונה אנחנו מבקשים מהצפרדע למצוא האם יש קישור לאתר שלנו:

  1. נשנה את inactive ל "Xpath" במקום Extractor 1 נכתוב 'קישור'
  2. (או link למי שסולד מעברית)באזור הטקסט נכתוב:
    //a[contains(@href, 'domain.co.il')]/@href
    כשבמקום domain.co.il נכניס את הדומיין שאליו מקשרים הקישורים.
  3. נוודא שבתפריט הימני בחרנו Extract Inner HTML – על מנת שהצפרדע תחפש את הדומיין בתוך הקוד של האתר

בשורה השניה אנחנו נבקש מהצפרדע לשלוף את הביטוי שממנו יוצא הקישור:

  1. נשנה את inactive ל "Xpath"
  2. במקום Extractor 2 נ
  3. כתוב 'אנקור' באזור הטקסט נכתוב:
    //a[contains(@href, 'domain.co.il')] כשבמקום domain.co.il נכניס את הדומיין שאליו מקשרים הקישורים.
  4. נוודא שבתפריט הימני בחרנו Extract Text – על מנת שהצפרדע תחפש את הדומיין בתוך הקוד של האתר
    (תוכלו למצוא את השלב הזה בתמונות – לוודא שאתם עשיתם נכון)

ועכשיו – נרוץ על רשימת הקישורים:

קודם כל – אנחנו משנים את הצפרדע למצב רשימה:

  • Mode -> List
  • נלחץ על Upload -> Enter manually
  • נדביק את רשימת הקישורים שאנחנו רוצים לבדוק (חשוב מאוד! כל הלינקים צריכים להתחיל בHTTP/Https – אחרת הם לא יחשבו)
  • לוחצים על Next

מוודאים שמספר הלינקים שהצפרדע מציגה הוא המספר הנכון (אם לא – כנראה שכחתם HTTP או שיש טעות באחת הכתובת – או שיש כתובת כפולה והצפרדע הסירה אחת מהרשומות)

ולוחצים OK

הצפרדע תתחיל לרוץ – ואנחנו ניגש לטאב Custom בשביל לראות מה קיבלנו:

בטאב קאסטום בצד שמאל משנים מFilter 1 ל Extraction

ושם נקבל רשימה של כל הקישורים והאנקורים שמצביעים לאתר שלנו.

אם העמוד קיים והקישור תקין – נראה Status code 200 – נראה את הלינק אליו אנחנו מקשרים – ואת האנקור ממנו מקושר האתר.

אם העמוד קיים – אבל אין קישור מהעמוד – יהיה status code 200 אבל העמודות של הקישור והאנקור יהיו ריקות (בדוגמא הכנסתי כתובות ללא קישורים שתוכלו לראות איך זה נראה) אם זה המקרה – תשייפו חרבות ותבדקו למה הוסר הקישור.

סייגים:

אם כמות הרשומות בCustom קטנה מכמות הקישורים שהכנסנו – נחזור לinternal ונבדוק את הStatus code של הרשומה:

אם קיבלנו 403 – זה אומר שהצפרדע נחסמה לסריקה – אז נבדוק ידנית אם העמוד קיים. לרוב העמוד קיים – פשוט בעל האתר לא רצה ביקורים של הצפרדע.

אם קיבלנו 404 – העמוד שמקשר הוסר – יחד עם הקישור. תכינו את הלפידים והקלשונים.

אם קיבלנו 301\2 – כנראה שהעמוד מבצע הפניה – ומכיוון שהצפרדע לא בודקת הפניות במצב LIST – נבדוק ידנית לאן העמוד מפנה – נעדכן את הרשימה ונבדוק שוב.

אם קיבלנו 500 – כנראה שהאתר ירד יחד עם הקישור. תבדקו מול המקדם אם האתר החליף דומיין או שהוא ירד לנצח…

תהנו.

כדאי לקפץ גם...

איך לתזמן סריקת אתר בצפרדע

הצפרדע המצווחת מאפשרת לסרוק אתרים במרווחי זמן קבועים. כלומר - קובעים לצפרדע מה היא צריכה לסרוק, מה הפלט שאנחנו רוצים לקבל - והצפרדע תרוץ בזמן שקבענו. כך נוכל לייצר מפות אתר עדכניות, לסרוק קישורים נכנסים, לייצר גרסאות מעקב אחרי אתרים או עמודי נחיתה ועוד!

איך סורקים אתר שנמצא במצב "Under construction"

לעיתים קרובות כשמעלים אתר חדש יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר - וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי - שמים את האתר במצב "תחת בניה". אז איך מחברים את הצפרדע למערכת הניהול של האתר על מנת שנוכל לסרוק את האתר כמו שצריך?

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

This site uses Akismet to reduce spam. Learn how your comment data is processed.