דף הבית -> Screaming Frog למתקדמים -> איך לתזמן סריקת אתר בצפרדע

איך לתזמן סריקת אתר בצפרדע

החל מגרסה 10 הצפרדע המצווחת מאפשרת לסרוק אתרים במרווחי זמן קבועים. כלומר – קובעים לצפרדע מה היא צריכה לסרוק (אתר שלם או מספר עמודים נבחרים), מה הפלט שאנחנו רוצים לקבל (אילו דוחות אנחנו רוצים לקבל) והצפרדע תרוץ בזמן שקבענו.

למה צריך את זה?

קודם כל למה לא? זה נוח – ניתן לעקוב בקלות אחרי שינויים באתר וזה חוסך זמן.

ניתן להשתמש בזה כדי לייצר מפות אתר לאתר שלא מייצר אוטומטית, ניתן להריץ בדיקת קישורים נכנסים ועוד…

איך עושים את זה?

התהליך הוא פשוט – אבל מצריך מספר הכנות.

  1. אם אנחנו רוצים לסרוק רשימת עמודים ספציפית – צריך להכין אותה מראש בקובץ TXT או EXCEL (אני מעדיף TXT. כל כתובת בשורה נפרדת)
  2. אם יש הגדרות מיוחדות שאנחנו רוצים להגדיר – מגדירים אותן ב Configuration
    ואז מייצאים את קובץ ההגדרות מ File -> Configuration -> save as…

אפשר להתחיל

  1. נכנסים למערכת התזמונים:
    File -> Scheduling
  2. ומגיעים למסך ניהול התזמונים:
  3. לוחצים על ADD
  4. במסך General קובעים את שם הפרוייקט שרוצים לעקוב אחריו, מתחת קובעים את התיאור המפורט (אחרי מה עוקבים בפרוייקט) – והכי חשוב – קובעים את תאריך ההתחלה ותדירות הסריקה. כרגע ניתן לקבוע מרווחים של יום, שבוע או חודש. אני מניח שבעתיד יהיה ניתן לקבוע זמנים שונים – אבל כרגע זה מה שיש.
  5. עוברים לטאב Start Options.
  6. אם רוצים לסרוק אתר – משאירים את הגדרת Spider ומכניסים את כתובת האתר שברצוננו לסרוק.
    אם רוצים לסרוק רשימת אתרים – משנים מספיידר לList ומעלים בBrowse את הקובץ עם רשימת הקישורים שהכנו מראש.
  7. אם שמרנו הגדרות קונפיגורציה מראש – מעלים אותה בשורה של Config.
  8. באזור הAPI ניתן להגדיר חיבורים לכלים חיצוניים (במידה ויש לכם גישה) – אם יש לכם צורך, תסמנו V ליד הכלי שאתם רוצים ותתחברו אליו עם הConfigure. ההליך פשוט מאוד.
  9. עוברים לטאב Export
  10. זה טאב שבו קובעים את הפלט שאנחנו רוצים. קודם כל מפעילים את האופציה (לא מבין למה היא לא פתוחה בדיפולט) באמצעות סימון V ליד Options
  11. קובעים תיקיית יצוא – שימו לב – בגרסה 10.2 יכולות להיות התנגשויות עם שמות תיקייה בעברית. מומלץ לעדכן גרסה או להשתמש בשמות באנגלית!
  12. מסמנים Create timestamped folder in output – כך לכל סריקה הוא יפתח תיקייה משלה ולא ידרוס את הסריקה הקודמת.
  13. מסמנים מה אנחנו רוצים לקבל:
    Save Crawl – יתן את השמירה של הסריקה כולה. על מנת שתוכלו לפתוח אותה אח"כ בצפרדע.
    Create XML Sitemap – ייצור מפתך אתר בכל סריקה. מעולה למי שיש לו אתרים שלא מייצרים לבד מפות אתר והוא צריך לייצר עצמאית באופן קבוע.
    Create Images Sitemap- ליצירת מפת אתר לתמונות.
  14. בכפתורים הבאים אנחנו קובעים איזה אקסלים המערכת תייצא לנו בסוף הסריקה. לוחצים על כל כפתור ובוחרים מהרשימה מה נקבל בייצוא. שימו לב שאתם בוחרים ייצוא של XLSX – כי אם תשארו עם CSV – העברית תהפוך לג'יבריש.
  15. זהו. לוחצים OK ורואים שההגדרות שלנו נשמרות במערכת.
  16. לוחצים OK.
  17. זהו! אפשר לסגור את הצפרדע. ברגע שיגיע הזמן המתוזמן – יפתח חלון CMD, הסריקה תפעל ברקע ותסגר בסיומה.
  18. את הפלט תוכלו למצוא בתוך התיקייה שקבעתם – בתיקייה עם תאריך הסריקה:
  19. ובתוך התיקייה תמצאו את הקבצים:
    שימו לב – הצפרדע לא צריכה להיות פתוחה כדי שהסריקה שתזמנתם תפעל – הכל עובד ברקע.

כדאי לקפץ גם...

איך סורקים אתר שנמצא במצב "Under construction"

לעיתים קרובות כשמעלים אתר חדש יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר - וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי - שמים את האתר במצב "תחת בניה". אז איך מחברים את הצפרדע למערכת הניהול של האתר על מנת שנוכל לסרוק את האתר כמו שצריך?

הדוחות המיוחדים של הצפרדע

מעבר לניתוחים הרגלים שעושים עם הצפרדע ואפשרויות הייצוא המרובות מהטאבים – יש לצפרדע מספר דוחות מעניינים ששווה להכיר ולבדוק. במאמר הזה אני אתן סקירה קצרה על כל אחד מהדוחות הללו.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

This site uses Akismet to reduce spam. Learn how your comment data is processed.