קיבלתם הודעה מגוגל שקבצי CSS ו-JS חסומים? הנה הפתרון

אם יש לכם אתר אינטרנט שמחובר לכלי מנהלי האתרים של גוגל (Webmaster Tools), רבים הסיכויים שקיבלתם לאחרונה הודעה מפחידה מגוגל המתריעה כי קבצי ה-css וה-js שלכם חסומים ולא ניתנים לקריאה על ידי מנוע החיפוש.

ההודעה של גוגל: Googlebot cannot access CSS and JS files

ההודעה, שנשלחת במייל לבעלי אתרים ומופיעה גם בכלי מנהלי האתרים, כוללת הוראות כיצד לתקן את החסימה של הקבצים, ומסתיימת באזהרה מרומזת של גוגל שדירוגי האתר בתוצאות החיפוש עלולים להיפגע (או כפי שגוגל מנסחים זאת בעדינות: ״עלול לגרום לדירוגים לא אופטימליים״). אז מה עושים?

גוגל תקלה באתר

ההודעה של גוגל למנהלי האתרים – יש לכם קבצים חסומים לסריקה

למה בכלל הקבצים האלה חשובים לגוגל?

בשלב זה אתם בטח שואלים את עצמכם מה קרה לגוגל, שפתאום החליטו לשלוח הודעות אזהרה לאין ספור בעלי אתרים, בנושא טכני לחלוטין – ולמה גוגל צריכים לסרוק קבצי css וג׳אווהסקריפט שלא קשורים לתוכן האתר. התשובה (או לפחות חלקה) מצויה בפורומים הרשמיים של גוגל.

במאמר שכותרתו ״See the importance of crawling & rendering״ נכתב כי גוגל מתחשבת בכל התוכן הויזואלי באתר – ולא רק הטקסטואלי – כדי להבין את חוויית הגולש בכללותה. במילים פשוטות יותר, גוגל רוצה לדעת איך נראה העמוד, ולא רק מה כתוב בו – מכל מיני סיבות ששמורות עמה. העיקרית שבהן, על פי השערות שונות, היא הבחנה בין טקסט שממוקם מעל לגלילה (Above the fold) לבין טקסט מתחתיה.

גם ידידנו (לשעבר) מאט קאטס פנה לליבם של בעלי האתרים בסרטון יוטיוב וביקש/התחנן/דרש: אל תחסמו את הקבצים האלה:

השערות אחרות ברשת (בשלב זה ללא ביסוס משמעותי או אימות מגוגל) טוענות שהקשחת העמדות של גוגל מגיעה כחלק מעדכון פנדה העדכני שהחל להתגלגל לאחרונה, וכי למעשה המטרה היא לוודא שהתוכן המוצג לגולשים באתר זהה לתוכן שמוצג לגוגל, ומבלי להסתיר פרסומות, באנרים או כל דבר אחר.

שלב ראשון – בדקו איזה קבצים חסומים לגוגל

עכשיו כשהבנו מה קרה, ולמה חשוב לגוגל לקבל תמונה מלאה של האתר שלנו, נתחיל בפתרון.

הצעד הראשון הוא לבדוק ולהבין אילו קבצים בדיוק חסומים לגוגל. כדי לבדוק נקודתית באתר שלכם, היכנסו לכלי מנהל האתרים Webmaster Tools ללשונית Crawl (סריקה) ומתחתיה לחצו על Fetch as Google (אחזר כמו Google).

הכניסו את כתובת דף הבית שלכם (1) ולחצו על Fetch and Render (אחזר ועבד) (2). תוך מספר שניות תקבלו תשובה – גוגל יסרוק את דף הבית ויציג לכם הודעה בהתאם לתוצאה (3). אם מופיעה התוצאה Partial (חלקית), סימן שיש בעיה עם הסריקה. לחצו על שני החצים הקטנים בסוף השורה ותראו רשימה של הקבצים החסומים.

כלי מנהל האתרים של גוגל

כאן תוכלו לגלות באיזו תיקיה מתחבאים אותם קבצים חסומים, ומי שרוצה יכול ללחוץ על הקישור Robots.txt Tester ולקבל המחשה ויזואלית לחסימה בקובץ הרובוטס.

חסימת קבצים בגוגל

אם האתר שלכם מבוסס על וורדפרס, קיימת סבירות גבוהה שהקבצים החסומים נמצאים בתיקיות פנימיות של וורדפרס שחסומות בקובץ robots.txt , לדוגמה /wp-includes/ או wp-content/plugins/ .

שלב שני – פתיחת החסימה

עכשיו כשהבנו איזה שורות בקובץ רובוטס גורמות לחסימה, יש צורך להסיר אותן מהקובץ או לאפשר את סריקת התיקיות החסומות.

כדי לערוך את קובץ הרובוטס תוכלו לפתוח אותו ישירות על השרת, או להשתמש בפלאג-אין הנפוץ של וורדפרס Yoast SEO שמאפשר את עריכת קובץ Robots.txt ישירות מדף ההגדרות (תפריט SEO -> כלים -> עריכת קבצים).

קובץ רובוטס

יש כמה גישות איך להסיר את החסימה. ברוב המקרים תמצאו בקובץ Robots את ההגדרה Disallow לתיקיות שהוזכרו. תוכלו למחוק את ההגדרה הזו ובכך לאפשר לגוגל לסרוק את התיקיות ואת הקבצים שהיו חסומים בהן.

אפשרות אחרת שהוצעה בפורומים הרשמיים של גוגל, היא פתיחה כוללת של כל קבצי ה-css וה-js באתר, ללא קשר למיקום שבו הם נמצאים. זאת תוכלו לעשות על ידי הוספת השורות הבאות בקובץ Robots.txt:

User-Agent: Googlebot

Allow: /*.js*

Allow: /*.css*

שלב שלישי – בדיקה

לאחר שהסרתם את החסימה מהתיקיות הבעייתיות, היכנסו שוב לכלי מנהל האתרים והריצו בדיקת Fetch and Render נוספת (מומלץ להריץ את הבדיקה גם באמצעות הזחלן של גוגל לניידים – בחרו Mobile: Smartphone בתיבת הבחירה הצמודה לכפתור Fetch).

עם קבלת תוצאות הסריקה, ודאו כי האתר כפי שגוגל רואה אותו (בחלונית בצד שמאל) זהה לאתר כפי שהגולשים רואים אותו (בצד ימין), וכן ודאו שאין ברשימת החסימות עוד קבצים שחסומים ברובוטס. אם מצאתם קבצים חיצוניים חסומים שאינם נמצאים על השרת שלכם – אל תדאגו בקשר אליהם. גוגל יודעת מה נמצא בשליטתכם ומה לא.

אם הכל מוצג בצורה תקינה, עשיתם את שלכם. תוכלו ללחוץ על כפתור שלח לאינדקס, כדי לעדכן את גוגל שהתיקון בוצע ולהריץ סריקה חדשה של האתר. (אגב – אל תצפו להודעה נוספת מגוגל שהכל בסדר. זה לא יקרה).

לסיכום (או: גוגל מבקשת, אנחנו עושים)

כמו שראינו, ההמלצה של גוגל לפתוח לסריקה את קבצי css וג׳אווהסקריפט לא חדשה, וקיימת כבר מזה כמה חודשים – ויש בה היגיון מסוים (בוודאי מצד ענקית החיפוש).

ההודעה של גוגל כי אתרים שימשיכו לחסום את הקבצים עלולים להיפגע בדירוג מהווה אולטימטום לבעלי האתרים ונועדה לזרז אותם ליישר קו עם הדרישות שלה. קיבלתם הודעה כזו? שחררו את החסימות ותנו לגוגל את מה שהיא מבקשת.

2 תגובות על קיבלתם הודעה מגוגל שקבצי CSS ו-JS חסומים? הנה הפתרון

  1. מאת רותם‏:

    מה עושים אתרי וורדפרס שרוצים לחסום גישה לתיקייה מסויימת ובתוכה יש קבצי js? האם מה שהוצע בפורומים הרישמיים יעבוד?

    • מאת איתי טאו‏:

      אפשר להשאיר תיקיות חסומות אם לא רוצים לאפשר לגוגל גישה לכל התיקיה.
      במקרה כזה בודקים ב-WMT מה הנתיב של הקובץ החסום, ואותו פותחים ישירות באמצעות פקודת Allow בקובץ רובוטס.

כתיבת תגובה

האימייל לא יוצג באתר. (*) שדות חובה מסומנים

תגי HTML מותרים: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>