איך להגדיר את הקובץ robots.txt עבור האתר שלך

ניתן להשתמש בקובץ robots.txt כדי לאפשר או לאסור על מספר בוטים לבקר באתר. הקובץ אומר למנוע חיפוש את הדרך שבה המנוע חיפוש מאנדקס את האתר שלכם.

בקובץ robots.txt משתמשים בתחביר הבא:

User-agent: * "פירוש הדבר שהדבר חל על כל הרובוטים.

"Disallow": אומר לרובוט שהוא לא צריך לבקר בשום עמוד באתר.
Allow: / יגיד ל- robots.txt לבדוק את כל התוכן.
Disallow: / sample-directory / לא יאפשר לרובוט לבקר בספרייה הרשומה.

Disallow: /private_file.html – יחסום דף ספציפי
Disallow: /images/example.jpg – יחסום תמונות ספציפיות
Disallow: /*.gif$ – יחסום את הגישה של סוג הקובץ .gif, באופן דומה ניתן להוסיף כאן סוגי סיומות אחרים.

אתם יכולים לציין את המפות אתר בקובץ robots.txt שלכם. אם תרצו, למשל, http://www.yoursite.com/sitemap.xml.gz

מאמר זה יסביר כיצד תוכלו להגדיר את קובץ robot.txt בשרת Cloudways שלכם.

איך להגדיר את הקובץ robots.txt עבור האתר שלך

שלב 1: גשו לשרת שלכם באמצעות SSH או SFTP

לאחר שתתחברו לשרת שלכם באמצעות SSH / SFTP, תוכלו להעלות את ה- robots.txt הקיים שלכם ל- public_html של תיקיית האתר שלכם.

שלב 2: יצירת קובץ robots.txt
אם הקובץ robot.txt לא הועלה או שהוא לא קיים, תוכלו ליצור קובץ robot.txt חדש תחת הספרית הראשית באתר שלכם על ידי הקלדת הפקודה הבאה:
touch robot.txt
 
כעת פתחו את הקובץ על ידי הקלדת פקודת vi כלומר vi robot.txt והוסיפו את הערכים כמתואר בצילום המסך שלהלן. באפשרותכם לשנות את הערכים לפי הצורך שלכם ולשמור את הקובץ, לחצו על Esc ואז הקלידו: :wq
יצירת קובץ robots.txt
הוספת קובץ robots.txt באמצעות SFTP

ניתן גם להשתמש בעורך טקסט כמו פנקס הרשימות כדי ליצור קובץ robots.txt ואז להעלות אותו ל- public_html של תיקיית האתר שלכם.

זהו זה! למדתם כיצד להתקין את robots.txt עבור האתר שלכם.

כדי לברר כיצד לחבר SFTP לשרת שלכם, עברו למאמר זה.

מאת – צוות EasyCloud