דף הבית -> Screaming Frog למתקדמים -> טסטים לקובץ Robots

טסטים לקובץ Robots

רוצים לבדוק איך גוגל יגיב לקובץ רובוטס חדש שאתם מעלים – אבל לפני שאתם מעלים אותו?
קלי קלות.

הולכים ל:

configuration -> robots.txt ->custom

לוחצים על: add (למטה מצד שמאל)

מזינים את כתובת האתר (הוא ימצא לבד את הרובוטס)

אפשר לערוך לאיזה טקסט שאתם רוצים, להחליף ולמחוק – ולבדוק כתובות פרטניות.

כדאי לקפץ גם...

איך מזהים Cloaking שנוצר באתר בעקבות פריצה

גוגל שלח הודעה דרך הקונסול שיש שוני בין האתר הנייח לאתר המובייל - שוני שלא אמור להיות מכיוון שמדובר באתר רספונסיבי. בדיקה מהירה באתר הראתה שהכל תקין. אבל אולי משהו מסתתר מתחת לפני השטח? אז איך מוצאים פרצות קלוקינג באמצעות הצפרדע? התשובות בפנים!

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

This site uses Akismet to reduce spam. Learn how your comment data is processed.