דף הבית -> Screaming Frog למתקדמים -> טסטים לקובץ Robots

טסטים לקובץ Robots

רוצים לבדוק איך גוגל יגיב לקובץ רובוטס חדש שאתם מעלים – אבל לפני שאתם מעלים אותו?
קלי קלות.

הולכים ל:

configuration -> robots.txt ->custom

לוחצים על: add (למטה מצד שמאל)

מזינים את כתובת האתר (הוא ימצא לבד את הרובוטס)

אפשר לערוך לאיזה טקסט שאתם רוצים, להחליף ולמחוק – ולבדוק כתובות פרטניות.

כדאי לקפץ גם...

איך לתזמן סריקת אתר בצפרדע

הצפרדע המצווחת מאפשרת לסרוק אתרים במרווחי זמן קבועים. כלומר - קובעים לצפרדע מה היא צריכה לסרוק, מה הפלט שאנחנו רוצים לקבל - והצפרדע תרוץ בזמן שקבענו. כך נוכל לייצר מפות אתר עדכניות, לסרוק קישורים נכנסים, לייצר גרסאות מעקב אחרי אתרים או עמודי נחיתה ועוד!

איך סורקים אתר שנמצא במצב "Under construction"

לעיתים קרובות כשמעלים אתר חדש יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר - וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי - שמים את האתר במצב "תחת בניה". אז איך מחברים את הצפרדע למערכת הניהול של האתר על מנת שנוכל לסרוק את האתר כמו שצריך?

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

This site uses Akismet to reduce spam. Learn how your comment data is processed.