GPT
B

bge-small-en-v1.5

קוד פתוח

BAAImit2023-09-12

  • sentence-transformers
  • pytorch
  • onnx
  • safetensors
  • bert

מודל שיכוך קטן באנגלית שמוציא וקטורים במהירות גבוהה ובמינימום משאבים. הוא מיועד למי שצריך מנוע חיפוש סמנטי או סיווג טקסטים בלי להחזיק שרת יקר.

  • 33Mפרמטרים
  • 512טוקנים בהקשר
  • 383 MBמשקל הקבצים
  • 64,933,788הורדות בחודש

מה זה

מדובר במודל שפותח בסין על בסיס ארכיטקטורת ברט עם 33 מיליון פרמטרים ו־12 שכבות, שמיועד לחילוץ מאפיינים ודמיון בין משפטים באנגלית. המשקל הכולל של הקבצים שלו הוא 383 מגה בייט, מה שמסביר את עשרות מיליוני ההורדות שלו בקרב מפתחים שמחפשים ביצועים סבירים בקובץ זעיר.

במבחני ביצועים הוא מציג תוצאות טובות בסיווג פשוט עם דיוק של 92.7% על ביקורות אמזון ודמיון סמנטי ברמה של 85% במבחני ביו־רפואה. באחזור מידע מורכב יותר הוא משיג בערך 85% ריקול בעשירייה הראשונה במבחן ArguAna, כך שהוא מזהה יפה את ההקשר הכללי, אבל במשימות טכניות עמוקות התוצאות נמוכות בהרבה.

מתאים ל

  • חיפוש סמנטי פנימי באנגלית

    שליפת קטעי טקסט דומים מקבצי עזרה או מאגרי ידע קצרים באנגלית עם ריקול של 85% בעשירייה הראשונה.

  • סיווג תחושות וביקורות

    מיון טקסטים מהיר מול דיוק מוכח של מעל 92% בסנטימנט ביקורות בלי להעמיס על התשתית.

  • סינון שאלות כפולות

    זיהוי כפילויות במערכות תמיכה וקהילה עם ציון MRR של מעל 74% בהתאמת שאלות דומות.

איפה זה נופל

הוא מוגבל לחלון הקשר קצר של 512 טוקנים, ולכן הוא לא מתאים למסמכים שלמים אלא לפסקאות בודדות או משפטים. מעבר לזה, הוא אומן על אנגלית בלבד. אם תזינו לו עברית, תקבלו תוצאות חלשות מאוד. המדדים שלו צונחים דרסטית בטקסטים מתמטיים ומדעיים מסובכים, כמו דיוק של כ־47% בסיווג ביקורות מורכבות או תוצאות נמוכות במיוחד במאגרי שאלות טכניות.

אותה משפחה

bge-small-en יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

שאלות
נפוצות

האם הוא יעבוד טוב עם תוכן בעברית?

לא. הוא הוגדר ואומן על השפה האנגלית בלבד. כל ניסיון לייצר וקטורים לטקסט עברי יוביל לפגיעה חמורה באיכות האחזור והסיווג.

האם חובה להחזיק GPU כדי להשתמש בו בסביבת ייצור?

אין שום צורך בכרטיס מסך. המודל שוקל 383 מגה בייט בלבד ומכיל 33 מיליון פרמטרים, כך שמעבד שרת רגיל מריץ אותו במהירות מצוינת.

איך מריצים

טוענים אותו דרך ספריית sentence-transformers ישירות בפייתון. בגלל הגודל הקומפקטי שלו, 33 מיליון פרמטרים בדיוק float32, הוא רץ בלי שום מאמץ על מעבד רגיל של לפטופ או שרת בסיסי וזול, ואין שום צורך להשקיע במעבד גרפי כבד כדי לקבל זמני תגובה טובים.

אין סיבה לשלם לספקי ענן על קריאות שירות עבור מודל כזה. שרת עצמאי קטן מטפל בהסקה מקומית במהירות גבוהה, חוסך עלויות רשת ומשאיר את הטקסטים אצלכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("BAAI/bge-small-en-v1.5")
v = m.encode(["שלום עולם"])

הרישיון

הרישיון הוא MIT, וזה אומר חופש מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות אותו, להטמיע אותו בקוד סגור ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והרישיון בתוך הפרויקט.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗