האטת סריקה – או: איך לסרוק אתרים על שרת שחוסם סריקה חיצונית

נתקלתם בשרת שחוסם לכם את הסריקה בצפרדע?

זה קורה כי לא מעט שרתים מנסים לזהות בוטים שהם לא קרולרים לגיטימים של מנועי חיפוש ולחסום אותם.

אחת החסימות היא חסימת מהירות סריקה. אם שרת מזהה שיש גולש שסורק 5 עמודים בשניה – הוא כנראה לא גולש אלא בוט.

לכן – הצפרדע מאפשרת לכם לקבוע קצב סריקה ידנית.

נסו להאט את קצב הסריקה – ייתכן וזה יעקוף את החסימה (זה בעיקר למי שצריך לסרוק מערכת סגורה בשרת שאין לו שליטה עליו – למשל קונימבו – שחוסמים סריקות חיצוניות ומבקשים במפורש להאט קצב סריקה)

אז איך עושים את זה?

Configuration -> Speed

מסמנים V על limit URL

וקובעים כמה עמודים בשניה הצפרדע תסרוק.

אני ממליץ על 0.5 – כלומר עמוד אחד כל 2 שניות. לרוב זה עושה את העבודה.

עדיין לא עובד?

אולי זה בגלל שגוגל מזהה את הצפרדע וחוסם אותה. ולכן אפשר לבקש מהצפרדע להתחזות לגוגל:

Conifguration -> User Agent

ומשנים את בתפריט לGooglBot