אם בעבר שרתים היו מזהים בוטים וחוסמים סריקת אתר עבור כלים שסורקים מהר מדי את האתר והיינו פותרים את זה בקלות ככה – היום יש לא מעט אתרים ושרתים שהשתכללו …
למאמר המלא »איך סורקים אתר שחוסם בוטים
שימוש בXpath לספירת כמות המילים בפוסטים באתר
איך שולפים באמצעות הצפרדע את כמות המילים שיש בפוסטים? לא כמות המילים הכללית בעמוד - אלא רק את כמות המילים במאמר עצמו בלי המסביב. בעזרת שילוב של Screaming Frog ואקסל - ניתן לעשות זאת!
למאמר המלא »שימוש בXpath – איך לחלץ בקלות נתונים מתוך עמוד
איך שולפים נתונים מתוך הטקסט של העמוד? בדוגמא שלפניכם אני שולף את שמות ומחירי המוצרים מעמוד קטגוריית מוצר בכמה רגעים באמצעות שימוש בXpath.
למאמר המלא »תצוגה ויזואלית של הררכיית האתר
איך ניתן להביט על מבנה האתר בצורה ויזואלית ויעילה על מנת לאמוד את מבנה האתר שלנו, כמויות ומשקל התוכן באתר ולהבין את מבנה ההיררכיה של האתר שלנו באופ ויזואלי?
למאמר המלא »איך לבדוק את הנתונים המובנים (סכמה וכו) של האתר
החל מגרסה 11 של הסקרימינג פרוג - נוספה אפשרות של שליפת הנתונים המובנים של האתר. אלו למעשה תגיות סכמה או מיקרודאטה שמוסיפים לחלקים באתר על מנת לעזור לגוגל להבין מה קורה. אז איך בודקים שהם מוטמעים כמו שצריך? כנסו ותגלו
למאמר המלא »איך לסרוק אתרי E commerce בצורה היעילה ביותר עם סקרימינג פרוג?
סריקת אתרי חנויות יכולה להיות מאוד מאוד מתסכלת. גם אם האתר בנוי כמו שצריך מבחינת קוד והיררכיה – מספיק שיש כמה אפשרויות חיתוך לקטגוריות שהסריקה תגיע לאלפי עמודים עבור 5-6 …
למאמר המלא »איך מזהים Cloaking שנוצר באתר בעקבות פריצה
גוגל שלח הודעה דרך הקונסול שיש שוני בין האתר הנייח לאתר המובייל - שוני שלא אמור להיות מכיוון שמדובר באתר רספונסיבי. בדיקה מהירה באתר הראתה שהכל תקין. אבל אולי משהו מסתתר מתחת לפני השטח? אז איך מוצאים פרצות קלוקינג באמצעות הצפרדע? התשובות בפנים!
למאמר המלא »איך לסרוק את גרסת המובייל של האתר?
הביטוי "מובייל פירסט" כבר הפך שגור עוד מ2017. אבל הScreaming frog מותקנת לנו על המחשב - וכברירת מחדל נותנת תוצאות של סריקת דסקטופ. אם לאתר יש גרסת מובייל שיושבת על כתובת אחרת (למשל m.site.com) הכל בסדר - שמים את כתובת האתר - וסורקים (כמובן שמומלץ לעשות exclude לכתובת אתר הדסקטופ כדי שהוא לא יופיע בסריקה - במקרה ויש קישורים בניהם). אבל מה עושים אם האתר רספונסיבי? או שלגרסת המובייל יש הפניה לאתר הדסקטופ שמזוהה לפי רזולוציית מסך - ואז ברגע שנרצה לסרוק את גרסת המובייל - האתר יפנה אותנו לדסקטופ...
למאמר המלא »איך לתזמן סריקת אתר בצפרדע
הצפרדע המצווחת מאפשרת לסרוק אתרים במרווחי זמן קבועים. כלומר - קובעים לצפרדע מה היא צריכה לסרוק, מה הפלט שאנחנו רוצים לקבל - והצפרדע תרוץ בזמן שקבענו. כך נוכל לייצר מפות אתר עדכניות, לסרוק קישורים נכנסים, לייצר גרסאות מעקב אחרי אתרים או עמודי נחיתה ועוד!
למאמר המלא »איך סורקים אתר שנמצא במצב "Under construction"
לעיתים קרובות כשמעלים אתר חדש יש כמה שעות \ ימים שבהם מעלים פיזית את האתר לאוויר - וכדי שגולש מזדמן לא יראה את האתר במצב לא אפוי לגמרי - שמים את האתר במצב "תחת בניה". אז איך מחברים את הצפרדע למערכת הניהול של האתר על מנת שנוכל לסרוק את האתר כמו שצריך?
למאמר המלא »