GPT
הוספת כלי
B

bge-micro-v2

קוד פתוח

TaylorAImit2023-10-11

  • sentence-transformers
  • pytorch
  • onnx
  • safetensors
  • bert

מודל שיכוך זעיר של 17 מיליון פרמטרים שרץ על מעבד פשוט. מתאים למי שחייב מהירות קיצונית ומשאבים אפסיים על חשבון עומק סמנטי.

  • 17Mפרמטרים
  • 512טוקנים בהקשר
  • 150 MBמשקל הקבצים
  • 911,545הורדות בחודש

מה זה

מדובר במודל מבוסס ארכיטקטורת BERT שצומצם לשלוש שכבות בלבד. הוא מייצר וקטורים להשוואת משפטים, סיווג טקסט, קיבוץ ואחזור מידע, כשהמטרה המרכזית שלו היא משקל קל במיוחד וזמני תגובה מינימליים.

במדדי MTEB הוא מציג תמונה ברורה. במשימות דמיון סמנטי כמו BIOSSES הוא מגיע למתאם פירסון של 84.16, ובסיווג כוונות בנקאיות ב־Banking77 הוא מחזיק 81.17 אחוזי דיוק. מנגד, באחזור מידע מורכב הוא מקרטע. במבחני CQADupstack על שאלות טכניות מ־Unix או מתמטיקה, מדד ה־MAP שלו בעשירייה הראשונה נע סביב 22 עד 30 נקודות בלבד.

מתאים ל

  • סינון ראשוני מהיר

    שליפת מועמדים גסה מתוך מאגר טקסטים גדול לפני העברתם למודל כבד ויקר.

  • סיווג כוונות פשוט

    ניתוב פניות תמיכה באנגלית לפי נושאים מוגדרים מראש על גבי שרת בסיסי.

  • זיהוי כפילויות

    בדיקה מהירה האם שאלה חדשה שנשאלה כבר קיימת במאגר שאלות ותשובות.

איפה זה נופל

הקיצוץ לשלוש שכבות גובה מחיר כבד בהבנה רב־שלבית. בסיווג ביקורות באמזון הוא משיג דיוק של 37.45 אחוזים בלבד, שזה כמעט ניחוש. באחזור מידע, הדיוק בתוצאה הראשונה עומד לרוב סביב 20 עד 30 אחוזים, כך שלא הייתי בונה עליו כבסיס יחיד למנוע חיפוש ארגוני. כל המדדים שנבדקו הם באנגלית, וטקסט בעברית צפוי להניב תוצאות חלשות מאוד בגלל היעדר אימון ייעודי.

שאלות
נפוצות

האם המודל שווה משהו בעברית?

הכרטיס מציג מדדים באנגלית בלבד. בארכיטקטורה של 17 מיליון פרמטרים ושלוש שכבות, אין לו מספיק קיבולת להחזיק ייצוג סמנטי איכותי לשפות שאינן אנגלית, ולכן לא מומלץ להשתמש בו לטקסט מקומי.

האם הוא מתאים למערכת RAG מלאה?

לא כמנוע שליפה בודד. תוצאות האחזור שלו במדדי MTEB נמוכות למדי, ולכן במסמכים ארוכים או מורכבים הוא יפספס את המידע הרלוונטי. אפשר להשתמש בו לכל היותר לסינון ראשוני ומהיר מאוד.

כמה זיכרון הוא תופס בפועל?

משקל הקבצים הכולל הוא 150 מגה־בייט. בזמן ריצה הוא צורך מאות בודדות של מגה־בייטים בזיכרון ה־RAM, מה שמאפשר להריץ אותו אפילו על שרתים זעירים או ישירות בצד לקוח.

איך מריצים

טוענים אותו ישירות דרך sentence-transformers בפייתון. אין פה שום דרישה לחומרה מיוחדת, קובץ של 150 מגה־בייט בדיוק float32 רץ מצוין על כל מעבד של לפטופ או מכונה וירטואלית זולה ב־AWS, בלי לגעת ב־GPU בכלל.

אין סיבה לשלם על API חיצוני בשביל מודל כזה. העלות והשיהוי של קריאת רשת יהיו גבוהים בהרבה מהרצה מקומית, אלא אם כן אתם מבינים שהאיכות שלו נמוכה מדי עבורכם וצריכים מודל ענק שמחייב שרת ייעודי.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("TaylorAI/bge-micro-v2")
v = m.encode(["שלום עולם"])

הקבצים

17 קבצים במאגר, 150 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

רישיון MIT מלא. אתם יכולים לקחת את המשקלים, לשלב אותם במוצר מסחרי סגור, לשנות את הקוד ולהפיץ אותו בחופשיות. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית של TaylorAI בתוך הקוד או התיעוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗