OpenAI מאמצת תקן חסימה אחיד אבל אל תמחקו את הכללים הישנים

ניהול קובצי robots.txt הפך בשנתיים האחרונות למשרה מלאה של הדבקת שמות בוטים שלא נגמרת. אתמול הודיעה OpenAI על מהלך רשמי שמנסה לעצור את המרדף הזה, ומאמצת תקן משותף שמאפשר לסמן העדפות אימון מול כמה חברות במקביל. ההסכמה הזו, שנולדה סביב דיוני קבוצת העבודה aipref בארגון IETF, תאפשר לבעלי אתרים להגדיר בשורה אחת שהתוכן שלהם מחוץ לתחום עבור אימון מודלים.

במקום לתחזק שורות נפרדות לכל חברה שמפעילה סורק ברשת, המפרט של טיוטת IETF מגדיר איתות ישיר לחסימת אימון מודלי AI. אם אתם מנהלים שרתים, המחשבה על מחיקת עשרות חסימות נפרדות נשמעת כמו הקלה מבורכת. לפני שפותחים את עורך הטקסט, כדאי לבדוק מה באמת קרה שם ובעיקר מה עדיין לא עובד.

לא הייתי ממהר לפתוח שמפניה.

שורה אחת במקום רשימה אינסופית

הבעיה שהתקן מנסה לפתור מוכרת לכל מי שפתח לאחרונה את קובץ ההגדרות של השרת. בכל פעם שחברה משיקה מודל חדש, נולד בוט חדש, ומנהלי אתרים נדרשים לעדכן ידנית בלוקים ארוכים של חסימות. ההודעה של OpenAI מאמצת את הטיוטה שמתגבשת במסגרת דיוני התקינה של IETF, במטרה ליצור שפה אחידה בין מפתחי אתרים לבין מפתחי מודלים.

המאמץ ההתנדבותי הזה מקל על מוציאים לאור ומפעילי אתרים לתקשר את אותה העדפה למספר ספקים משתתפים בבת אחת.הודעת OpenAI הרשמית

במקום להגדיר פקודת Disallow ייעודית עבור GPTBot, ועוד אחת עבור סורקים של חברות אחרות, מכניסים לקובץ איתות אחיד שמבהיר שהאתר אינו מוכן שתוכנו ישמש לאימון מודלי תשתית. עבור מפתחים שמנהלים עשרות דומיינים, מדובר בצמצום של תחזוקה שוטפת לקובץ יציב שלא דורש עדכון בכל שבוע.

ההבדל בין אימון לאינדוקס

החשש של אנשי SEO היה ונותר ניתוק מתנועת גולשים. חסימה גורפת ברמת השרת של סורקי חברות AI מונעת לעיתים גם הופעה בתשובות מנועי חיפוש מבוססי שיחה או הצגת קישורים ומראי מקום. התקן הנוכחי מפריד בין שני התהליכים: איתות האימון עוסק בלמידת המודל בלבד, ולא באינדוקס בזמן אמת עבור משתמשי קצה של מנועי חיפוש או שירותים כמו ChatGPT.

ההפרדה הזו אומרת שהאתר שלכם יכול להמשיך להופיע בתשובות לשאילתות של משתמשים עם הפניה וקישור למקור, בלי שהטקסטים שכתבתם ייכנסו למשקולות של מודל הבסיס הבא. מנהלי אתרים לא צריכים לבחור בין הגנה על זכויות יוצרים לבין נוכחות דיגיטלית במנועי חיפוש מודרניים.

למה אסור לגעת בקובץ היום

כאן מגיעה האזהרה שנעדרה מרוב הדיווחים הראשוניים ברשת: התקן הזה טרם הופעל. בהודעה הרשמית של החברה מובהר במפורש שהיישום יקרה רק בחודשים הקרובים, ושעדכון מפורט יימסר רק כשהסורקים יתחילו לכבד את האיתות בפועל. הבוטים שסורקים כרגע את הרשת כלל אינם מכירים את התחביר החדש.

בנוסף, ב-OpenAI מדגישים כי מערך הגדרות הסריקה הקיים נשאר בתוקף מלא ולא יוחלף. מי שהגדיר חוקים ייעודיים עבור סורקי החברה עדיין מוגן לפיהם. מעבר לכך, התקן כולו מבוסס על הסכמה וולונטרית. חברות AI קטנות או סורקים פיראטיים לא מחויבים לתקן, ולאף אחד אין דרך טכנית לאמת שמודל ספציפי לא קרא את הטקסט שלכם אם הסורק שלו התעלם מההנחיה.

זה שווה משהו רק אם כולם מצייתים.

הזווית של האתרים בישראל

עבור אתרי תוכן בעברית, לשאיבת מידע יש מחיר כבד במיוחד. נפח התוכן האיכותי בעברית ברשת מוגבל ממילא בהשוואה לאנגלית, ומודלים רבים נבנו על בסיס סריקות עמוקות של אתרי חדשות ומאגרי מידע מקומיים ללא תמורה. חסימה מסודרת ופשוטה תאפשר למוציאים לאור ישראלים להגן על המאגרים שלהם בלי להסתבך עם עשרות שורות קוד.

יתרון טכני נוסף נוגע למבנה הכתובות. קובצי robots.txt שמכילים נתיבים עם תווים בעברית סובלים לעיתים מבעיות קידוד (URL Encoding) כפול ומסורבל שגורם לסורקים מסוימים לפספס את החסימה הפרטנית. איתות אחיד וגלובלי לכלל הדומיין פותר את תקלות התחביר הללו לחלוטין, בתנאי כמובן שהסורק טורח לציית לו.

המהלך מראה שגם חברות ה-AI מבינות שהכאוס בקובצי השרת הגיע לקצה. אבל עד שהקוד בסורקים יתעדכן בפועל, החוקים הישנים הם תעודת הביטוח היחידה שלכם. תשאירו את הכללים הקיימים בדיוק במקומם, לפחות עד שההודעה הבאה תאשר שהשרתים בצד השני באמת מקשיבים.