GPT
הוספת כלי
G

granite-embedding-278m-multilingual

קוד פתוח

ibm-graniteapache-2.02024-12-04

  • transformers
  • pytorch
  • onnx
  • safetensors
  • xlm-roberta

מודל שיכוך קטן של יבמ לעבודה רב לשונית וחיפוש קוד. הוא תופס מעט מאוד זיכרון ומחזיר תוצאות חזקות בשליפת קטעי פייתון.

  • 278Mפרמטרים
  • 514טוקנים בהקשר
  • 2.6 GBמשקל הקבצים
  • 57,618הורדות בחודש

מה זה

מדובר במודל שיכוך טקסט מבוסס ארכיטקטורת XLMRobertaModel עם 278 מיליון פרמטרים ו־12 שכבות. הוא הוכשר על מגוון שפות, בהן אנגלית, ערבית, גרמנית, ספרדית, צרפתית, איטלקית, יפנית, קוריאנית, הולנדית, פורטוגזית, צ'כית וסינית. הייעוד העיקרי שלו הוא דמיון בין משפטים, סיווג ושליפת מידע.

במבחני MTEB המודל מציג ביצועים מעורבים מאוד. בחיפוש קוד פייתון על CodeSearchNet הוא מצטיין עם ציון ndcg@10 של 88.789 ודיוק מעולה בשליפה ראשונית. בסיווג כוונות בנקאיות הוא עומד על דיוק של 78.0617, ובמשימות דמיון טקסט סמנטי בביולוגיה מגיע לספירמן של 81.6362. לעומת זאת, במשימות אחזור אחרות כמו AppsRetrieval הוא מתרסק לציון של 6.214 בלבד, מה שמראה שהיכולת שלו תלויה לחלוטין באופי הדאטה.

מתאים ל

  • חיפוש סמנטי בקוד פייתון

    משיג ציון של 88.789 במדד ndcg@10 על מאגר CodeSearchNet ומתאים למנועי חיפוש בקוד מקור.

  • סיווג שאילתות קצרות

    מתאים לניתוב פניות תמיכה וכוונות משתמש עם דיוק של מעל 78 אחוז בטקסטים קצרים.

  • שליפת מידע רב לשונית

    רץ ביעילות על שפות נתמכות כמו ערבית, גרמנית, ספרדית וסינית בחומרה מקומית קלה.

איפה זה נופל

חלון ההקשר עומד על 514 טוקנים בלבד, כך שאי אפשר להזין מסמכים ארוכים בלי לחתוך אותם קודם. עברית כלל אינה מופיעה ברשימת השפות הנתמכות, ולכן לא הייתי מסתכן בהרצה שלו על טקסטים מקומיים בלי לבדוק קודם איך הוא מתמודד איתם. בנוסף, במשימות אחזור כלליות מסוימות הוא מציג ציונים נמוכים במיוחד, ובסיווג ביקורות אמזון רשם דיוק חלש של 37.278 בלבד.

שאלות
נפוצות

האם כדאי להשתמש במודל עבור טקסטים בעברית?

עברית אינה ברשימת השפות הרשמית שהוגדרה בכרטיס המודל. אף שארכיטקטורת XLMRoberta עשויה לזהות תווים בעברית ברמה בסיסית, לא מומלץ להשתמש בו לייצור בלי בדיקה יסודית, ועדיף לבחור מודל שאומן במפורש על עברית.

איזה כרטיס מסך נדרש כדי להריץ אותו בשירות חי?

המשקל של הקבצים הוא 2.6 גיגה בייט בלבד. כרטיס מסך בסיסי עם 6 עד 8 גיגה זיכרון יחזיק אותו בקלות עם batch size סביר, וניתן להריץ אותו גם על מעבד שרת רגיל אם זמן התגובה אינו קריטי לשברירי שנייה.

איך מריצים

המודל שוקל 2.6 גיגה בייט ומגיע בדיוק bfloat16 דרך ספריית transformers. בזכות הגודל הצנוע, 278 מיליון פרמטרים, כל מעבד גרפי פשוט עם 4 עד 6 גיגה זיכרון מריץ אותו בלי למצמץ, ואפשר לדחוף אותו גם על מעבד רגיל בשרת backend סטנדרטי בלי לקרוע את התקציב.

אין כאן כמה גרסאות משקל שונות בכרטיס, זו הגרסה היחידה. שווה להחזיק אותו עצמאית כשאתם צריכים פרטיות מלאה או מהירות תגובה מקומית. אם השירות שלכם לא כולל חומרה ייעודית וכל מה שמעניין אתכם זה קריאות מזדמנות, עדיף להשתמש ב־API חיצוני של מודל ענק במקום לנהל שרתים.

from transformers import pipeline

pipe = pipeline("sentence-similarity", model="ibm-granite/granite-embedding-278m-multilingual")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקולות והפצה פנימית או חיצונית בתוך מוצר, ללא תשלום תמלוגים, ובלבד ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗