dragon-plus-context-encoder

מה זה

מדובר בחצי אחד מתוך מערכת דואלית א-סימטרית שפייסבוק שחררה. המודל הזה מטפל אך ורק בטקסט של המסמכים, בעוד ששאילתות החיפוש צריכות לעבור דרך מקודד נפרד שפותח במקביל. הבסיס שלו מתחיל ב־RetroMAE ועבר אימון מתקדם על דאטה מורחב מתוך MS MARCO, מתוך מטרה לייצר וקטורים שמחזיקים מעמד היטב גם כשזורקים עליהם נתונים מתחומים חדשים.

במבחן התוצאה, השילוב הזה מציג ציון של 39.0 ב־MARCO Dev ו־47.4 בבנצ'מרק של BEIR. המשמעות בשטח היא יכולת הכללה טובה כשעוברים מחיפוש כללי לחיפוש בקבצים פנימיים או טקסטים מקצועיים, בלי צורך לכייל את המשקולות מחדש על כל דומיין קטן. הוא נשאר בגודל סטנדרטי של ברט, כך שמקבלים איכות אחזור מודרנית במחיר חישובי מוכר ונמוך יחסית.

מתאים ל

• אינדוקס מסמכים באנגלית

  יצירת וקטורים לקטעי טקסט עד 512 טוקנים עבור מנועי חיפוש פנימיים.

• רכיב אחזור למערכות RAG

  שליפת פסקאות מדויקות מתוך מאגר ידע רחב, הודות לתוצאות טובות ב־BEIR.

• חיפוש סמנטי על שרת צנוע

  הפקת אמבדינגס מקומית בקצב מהיר בלי צורך בחומרת GPU יקרה.

איפה זה נופל

חלון ההקשר נעצר ב־512 טוקנים, מגבלה קשיחה שאומרת שאי אפשר לדחוף אליו מסמכים שלמים בלי לחתוך אותם לפסקאות קודם. בנוסף, הוא חסר תועלת לחלוטין ללא מקודד השאילתות התואם שלו, אי אפשר לקודד שאילתה ומסמך עם אותו המודל בדיוק כי המערכת א-סימטרית. נקודה קריטית נוספת היא שאין כאן שום אימון או התאמה לעברית, כך שבטקסטים מקומיים הביצועים שלו יהיו חלשים בהרבה בהשוואה לאנגלית.

איך מריצים

המודל שוקל 418 מגה-בייט בלבד ורץ ישירות דרך ספריית transformers, כך שכל מעבד סביר או כרטיס מסך בסיסי יכולים לטעון אותו בשניות. בגלל שמדובר בארכיטקטורה של 12 שכבות, אין צורך בשרתים כבדים כדי לקודד את מאגר המסמכים שלכם, ואפשר להריץ אותו מקומית בלי לחשוב פעמיים.

ההבדל מול גרסת הרוברטה המקבילה זניח בביצועים, 47.4 לעומת 47.2 ב־BEIR, כך שהבחירה ביניהם תלויה בעיקר בתשתית הקיימת אצלכם. שימוש ב־API חיצוני במקרה הזה מיותר לחלוטין, כי המשקל קל מאוד והרצה עצמאית נותנת שליטה מלאה בלי לשלם פר קריאה לספק ענן.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="facebook/dragon-plus-context-encoder")
print(pipe("שלום"))

הקבצים

7 קבצים במאגר, 418 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model.bin438.0 MB
• vocab.txt231.5 KB
• README.md2.6 KB
• .gitattributes1.5 KB
• config.json570 B
• special_tokens_map.json112 B
• tokenizer_config.json28 B

הרישיון

פייסבוק לא הגדירה רישיון רשמי בעמוד המודל. במצב כזה, מבחינה משפטית אין לכם הרשאה מפורשת להשתמש במשקלים במוצר מסחרי, גם אם הקוד פתוח בגיטהאב. מי שרוצה להכניס אותו למערכת פעילה בארגון לוקח סיכון של הפרת זכויות יוצרים, ולכן עדיף להמתין לעדכון הרישיון או לפנות למחברים.

הרישיון המלא בעמוד המודל ↗