GPT
הוספת כלי
M

multi-qa-MiniLM-L6-cos-v1

קוד פתוח

sentence-transformersרישיון לא דווח2022-03-02

  • sentence-transformers
  • pytorch
  • tf
  • onnx
  • safetensors

מודל קומפקטי לחיפוש סמנטי שמתאים במיוחד להתאמת שאלות לתשובות באנגלית. הוא מחזיר וקטורים קטנים של 384 ממדים ורץ במהירות על כל מעבד רגיל.

  • 23Mפרמטרים
  • 512טוקנים בהקשר
  • 845 MBמשקל הקבצים
  • 788,295הורדות בחודש

מה זה

מדובר במודל שנועד לקחת שאילתות ופסקאות ולהמיר אותן למרחב וקטורי של 384 ממדים, כך שתוכלו לחשב דמיון ביניהן באמצעות מכפלה סקלרית פשוטה. הבסיס שלו הוא ארכיטקטורת MiniLM עם שש שכבות בלבד וכ־23 מיליון פרמטרים, מה שהופך אותו לקל במיוחד ביחס למודלים מבוססי רוברטה או מודלי ענק מודרניים.

הייחוד שלו לעומת מודלים כלליים אחרים בגודל הזה הוא הדאטה שעליו הוא עבר אימון. המפתחים אימנו אותו על 215 מיליון צמדים של שאלות ותשובות ממקורות מגוונים, החל מ־WikiAnswers ו־PAQ ועד Stack Exchange ו־MS MARCO. המשמעות היא שהוא כוונן לזהות תשובה רלוונטית לשאלה ישירה, ולא רק לבדוק האם שני משפטים אומרים אותו דבר בניסוח אחר.

מתאים ל

  • חיפוש במאגר שאלות ותשובות

    הוא אומן על מעל 200 מיליון צמדי שאלות ותשובות ויודע למצוא את הפסקה שעונה על השאילתה.

  • שליפה מהירה למערכות RAG

    וקטורים קטנים של 384 ממדים שמאפשרים סינון ראשוני מהיר של מסמכים באנגלית על מעבד פשוט.

  • איתור שאלות כפולות בפורום

    הדאטהסט מכיל עשרות מיליוני שאלות מ־WikiAnswers ו־Stack Exchange לצורך זיהוי ניסוחים מקבילים.

איפה זה נופל

המודל מאומן על אנגלית בלבד ולא יתאים לטקסטים בעברית. בנוסף, למרות שמגבלת הטוקנים הטכנית עומדת על 512, הכרטיס מזהיר במפורש שהאימון התבצע על קטעים באורך של עד 250 טוקנים בלבד, ולכן הוא צפוי להתקשות ולתפקד פחות טוב על פסקאות ארוכות ומורכבות.

שאלות
נפוצות

האם כדאי להשתמש בו לאינדוקס מסמכים בעברית?

לא. המודל אומן על מקורות באנגלית בלבד כמו ויקיפדיה, רדיט ומאגרי מידע אמריקאיים. אם תזינו לו טקסט בעברית, הייצוג הווקטורי לא ישקף את המשמעות של המילים ותקבלו תוצאות חיפוש גרועות.

האם חובה להשתמש ב־GPU כדי לקבל ביצועים טובים בזמן אמת?

ממש לא. מדובר במודל עם 23 מיליון פרמטרים ו־6 שכבות בלבד, כך שמעבד מודרני ממוצע יכול לחשב וקטורים עבור שאילתות בודדות בעשרות מילישניות בודדות. כרטיס מסך יעזור רק אם אתם מאנדקסים מיליוני מסמכים בבת אחת.

איך מריצים

המודל שוקל כ־845 מגה-בייט על הדיסק, כך שהוא נכנס בקלות לזיכרון של כל לפטופ או שרת בסיסי בלי צורך בכרטיס מסך ייעודי. מריצים אותו ישירות בפייתון עם שורת קוד אחת דרך ספריית sentence-transformers, או בטעינה דרך PyTorch ו־TensorFlow עם פעולת mean pooling ידנית על שכבת הפלט.

בגודל הזה אין שום סיבה אמיתית לשלם על API חיצוני. המודל מחזיר וקטורים מנורמלים, מה שמאפשר להשתמש ב־dot product במקום cosine similarity כדי לקבל תוצאות זהות בחישוב מהיר יותר, ישירות על המעבד של השרת שלכם.

from sentence_transformers import SentenceTransformer

m = SentenceTransformer("sentence-transformers/multi-qa-MiniLM-L6-cos-v1")
v = m.encode(["שלום עולם"])

הקבצים

29 קבצים במאגר, 845 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

היוצרים לא ציינו רישיון שימוש בעמוד המודל. מבחינה משפטית, היעדר רישיון מפורש אומר שאין הרשאה ברורה להשתמש בו במוצר מסחרי, וארגונים שמקפידים על קניין רוחני יצטרכו לבדוק את הרישיון של פרויקט הבסיס לפני שילוב שלו בקוד ייצור.

הרישיון המלא בעמוד המודל ↗