Solon-embeddings-large-0.1

מה זה

מדובר במודל מבוסס XLM-Roberta עם 560 מיליון פרמטרים ו־24 שכבות, שנועד לחילוץ מאפיינים וייצוג וקטורי של טקסטים בצרפתית. הוא אומן ישירות עבור השפה הזו כדי לתת מענה ממוקד במשימות של אחזור מידע, דמיון סמנטי וסיווג כוונות. בכרטיס המודל מוצגת השוואה מול מודלים רב-לשוניים מוכרים כמו אלה של קוהיר ו־OpenAI, שבה הוא השיג ציון ממוצע של 0.7490 בתשעה מבחני ביצועים שונים בצרפתית.

התוצאה הזו אומרת שבמשימות כמו דירוג מחדש או סיווג ביקורות ותרחישים בצרפתית, הוא מבין את הניואנסים של השפה טוב יותר ממודלים כלליים גדולים. כדי להגיע לביצועים המרביים שלו בשליפת מסמכים, צריך להוסיף את הקידומת query לפני שאילתות החיפוש, בעוד שעבור פסקאות הטקסט שמאנדקסים לא נדרשת שום תוספת. מפתחי המודל יצרו בעצמם שניים מתשעת המבחנים כדי לבדוק דירוג מחדש ודמיון סמנטי בצרפתית, והעלו את סקריפט הבדיקה לגיטהאב.

מתאים ל

• חיפוש סמנטי בצרפתית

  שליפת פסקאות מדויקת באמצעות הוספת קידומת השאילתה המומלצת למנועי חיפוש.

• סיווג כוונות בבוטים

  זיהוי כוונות של משתמשים דוברי צרפתית על בסיס ציוני התאמה גבוהים בבנצ'מרק.

• דירוג תוצאות מחדש

  שקלול מחדש של תוצאות חיפוש טקסטואלי לקבלת התאמה סמנטית טובה יותר.

איפה זה נופל

המגבלה המרכזית היא חלון הקשר של 514 טוקנים בלבד. הוא לא מסוגל לקרוא מסמכים ארוכים ברצף, ולכן תצטרכו לחתוך טקסטים לפסקאות קצרות לפני ההמרה לווקטור. בנוסף, המודל מוגדר ומכוון רק לשפה הצרפתית, כך שהוא חסר תועלת לחלוטין עבור עברית או אנגלית. חיסרון נוסף נובע מזה ששניים מתוך תשעת המבחנים שבהם נבדק פותחו על ידי אותה חברה שיצרה את המודל, מה שדורש בדיקה זהירה על הדאטה האמיתי שלכם.

איך מריצים

המודל שוקל 2.1 גיגה-בייט ומגיע בדיוק float32, כך שתוכלו להריץ אותו בקלות על כרטיס מסך בסיסי עם 4 עד 8 גיגה זיכרון דרך ספריית transformers. אם אין לכם עומס כבד אפשר אפילו לחשב איתו וקטורים על גבי מעבד רגיל, אם כי זה ייקח יותר זמן בכל באץ'.

מול מודלים קטנים יותר כמו גרסת הבסיס של אותה סדרה, הגרסה הזו נותנת שיפור קל בדיוק אבל דורשת יותר זיכרון וחישוב. להריץ אותו עצמאית משתלם כשיש כמויות גדולות של טקסט בצרפתית שרוצים לאנדקס בלי לשלם לפי טוקן לחברות ענן חיצוניות.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="OrdalieTech/Solon-embeddings-large-0.1")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 2.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors2.2 GB
• tokenizer.json17.1 MB
• sentencepiece.bpe.model5.1 MB
• README.md20.4 KB
• training_args.bin6.2 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.2 KB
• special_tokens_map.json964 B
• config.json704 B
• modules.json349 B
• 1_Pooling/config.json191 B
• config_sentence_transformers.json123 B
• sentence_bert_config.json53 B

הרישיון

הרישיון הוא MIT, שזה הרישיון הפתוח והנוח ביותר שיש. אפשר להשתמש בו בפרויקטים מסחריים, לשנות אותו ולהפיץ אותו בתוך המוצר שלכם בלי תשלום תמלוגים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗