potion-base-8M
קוד פתוחminishlabmit2024-10-29
מודל וקטורי זעיר שמייצר ייצוגי טקסט במהירות חריגה על כל מעבד רגיל. הוא מתאים למי שרוצה ביצועים קרובים לטרנספורמר בלי לשלם על זמני חישוב ושרתים יקרים.
- 8Mפרמטרים
- 58.5 MBמשקל הקבצים
- 545,599הורדות בחודש
- 79לייקים
מה זה
מדובר במודל מסוג StaticModel שנוצר באמצעות זיקוק של bge-base-en-v1.5 ואימון בשיטה שנקראת Tokenlearn. במקום להריץ שכבות שלמות של תשומת לב עבור כל מילה בהקשר שלה, הוא מסתמך על וקטורים סטטיים, שקלול לפי תדירות תווים ועיבוד בסיסי. התוצאה היא חישוב מהיר בכמה סדרי גודל ממודלים רגילים, גם על גבי מעבדי מחשב פשוטים.
במבחני MTEB המודל מציג ציון ממוצע של 51.32 לעומת 55.80 של all-MiniLM-L6-v2, מה שאומר שהוא שומר על קרוב לתשעים ושניים אחוזים מהיכולת של מודל נפוץ בהרבה. בסיווג טקסט הוא אפילו עוקף אותו עם ציון של 70.34 מול 69.25, אבל במשימות אחזור מידע התוצאה נמוכה משמעותית ועומדת על 31.11 לעומת 42.92. הוא עוקף בקלות פתרונות ישנים כמו GloVe בכל המדדים.
מתאים ל
- סיווג טקסטים בזמן אמת
הוא משיג ציון 70.34 בסיווג ב־MTEB ומחשב וקטורים במהירות עצומה על גבי מעבד רגיל.
- מערכות עם משאבים מוגבלים
עם משקל של 58.5 מגה בייט וריצה בלי GPU, הוא מתאים לשילוב ישיר בקצה ובמכשירים קטנים.
- סינון ראשוני מהיר
משמש לשלב ראשון של סינון דמיון במאגרים גדולים לפני מעבר למודל כבד ויקר יותר.
איפה זה נופל
המודל הזה מבוסס על אנגלית בלבד שנגזרה ממודל המקור, כך שאין מה לנסות להריץ עליו טקסטים בעברית. בנוסף, וקטורים סטטיים לא מבינים הקשר מורכב, דו משמעות או סדר מילים עדין, מה שמסביר את הנפילה שלו במשימות אחזור וחיפוש סמנטי עמוק לעומת מודלי טרנספורמר מלאים.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה לחיפוש סמנטי בעברית?
לא. המודל זוקק מ־bge-base-en-v1.5 ומיועד אך ורק לטקסטים באנגלית. שימוש בעברית יפיק תוצאות חסרות משמעות לחלוטין.
האם חייבים GPU כדי להפיק ממנו ביצועים טובים?
ממש לא. כל הרעיון בווקטורים סטטיים בספריית model2vec הוא פעולות מתמטיות פשוטות שרצות במילישניות בודדות ישירות על המעבד המרכזי.
איך מריצים
מתקינים את ספריית model2vec באמצעות pip וטוענים את המשקלים ישירות דרך StaticModel.from_pretrained. אין צורך בשרת מיוחד, כרטיס גרפי או זיכרון ייעודי, כי הקבצים שוקלים 58.5 מגה בייט בסך הכול והחישובים רצים בלי בעיה על המעבד של המחשב האישי שלכם.
המשפחה הזו מציעה גרסאות מ־2M ועד 32M פרמטרים, כאשר גרסת ה־8M מהווה נקודת אמצע סבירה בין מהירות לדיוק. אין שום סיבה בעולם לפנות ל־API חיצוני או לשלם לספק ענן כדי להריץ משקל כזה, כי העלות החישובית מקומית זניחה לחלוטין.
pip install -U huggingface_hub hf download minishlab/potion-base-8M
הקבצים
10 קבצים במאגר, 58.5 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא MIT, מה שנותן חופש מוחלט לשימוש מסחרי או פרטי, לשינוי הקוד ולשילוב במוצרים סגורים. הדרישה היחידה היא לשמור על הקרדיט המקורי ופטור מאחריות של היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש