איך להגדיר את הקובץ robots.txt עבור האתר שלך

ניתן להשתמש בקובץ robots.txt כדי לאפשר או לאסור על מספר בוטים לבקר באתר. הקובץ אומר למנוע חיפוש את הדרך שבה המנוע חיפוש מאנדקס את האתר שלכם.

בקובץ robots.txt משתמשים בתחביר הבא:

User-agent: * "פירוש הדבר שהדבר חל על כל הרובוטים.

"Disallow": אומר לרובוט שהוא לא צריך לבקר בשום עמוד באתר.
Allow: / יגיד ל- robots.txt לבדוק את כל התוכן.
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.

Disallow: /private_file.html – יחסום דף ספציפי
Disallow: /images/example.jpg – יחסום תמונות ספציפיות
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.

אתם יכולים לציין את המפות אתר בקובץ robots.txt שלכם. אם תרצו, למשל, http://www.yoursite.com/sitemap.xml.gz

מאמר זה יסביר כיצד תוכלו להגדיר את קובץ robot.txt בשרת Cloudways שלכם.