האטת סריקה – או: איך לסרוק אתרים על שרת שחוסם סריקה חיצונית

נתקלתם בשרת שחוסם לכם את הסריקה בצפרדע?

זה קורה כי לא מעט שרתים מנסים לזהות בוטים שהם לא קרולרים לגיטימים של מנועי חיפוש ולחסום אותם.

אחת החסימות היא חסימת מהירות סריקה. אם שרת מזהה שיש גולש שסורק 5 עמודים בשניה – הוא כנראה לא גולש אלא בוט.

לכן – הצפרדע מאפשרת לכם לקבוע קצב סריקה ידנית.

נסו להאט את קצב הסריקה – ייתכן וזה יעקוף את החסימה (זה בעיקר למי שצריך לסרוק מערכת סגורה בשרת שאין לו שליטה עליו – למשל קונימבו – שחוסמים סריקות חיצוניות ומבקשים במפורש להאט קצב סריקה)

אז איך עושים את זה?

Configuration -> Speed

מסמנים V על limit URL

וקובעים כמה עמודים בשניה הצפרדע תסרוק.

אני ממליץ על 0.5 – כלומר עמוד אחד כל 2 שניות. לרוב זה עושה את העבודה.

עדיין לא עובד?

אולי זה בגלל שגוגל מזהה את הצפרדע וחוסם אותה. ולכן אפשר לבקש מהצפרדע להתחזות לגוגל:

Conifguration -> User Agent

ומשנים את בתפריט לGooglBot

כדאי לקפץ גם...

למה יש באתר שלי אזהרת אבטחה למרות שיש SSL?

קיבלתם את המלצת גוגל והתקנתם SSL על האתר. כל האתר שלכם כבר יושב על HTTPS והכל נראה ירוק. או ש... האתר שלכם אמנם עולה עם HTTPS אבל מציג את האזהרה המעצבנת שיש חלקים באתר שהם לא מאובטחים. רגע לפני שהגולשים בורחים מכם - איך מוצאים מה לא בסדר?

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

אתר זו עושה שימוש ב-Akismet כדי לסנן תגובות זבל. פרטים נוספים אודות איך המידע מהתגובה שלך יעובד.