Supra-50M-Instruct
קוד פתוחSupraLabsapache-2.02026-05-21
מודל הוראות זעיר של 52 מיליון פרמטרים שרץ על כל מעבד בסיסי. הוא מתאים למי שחייב ניתוח טקסט מקומי באנגלית בלי לגעת במעבד גרפי ובלי לשלם על שרתים יקרים.
- 52Mפרמטרים
- 1,024טוקנים בהקשר
- 201 MBמשקל הקבצים
- 1,280הורדות בחודש
מה זה
מדובר במודל שנוצר מאפס בארכיטקטורת Llama ואומן על 20 מיליארד טוקנים של תוכן לימודי, עם כוונון עדין על Alpaca-Cleaned. הוא שוקל כמאתיים מגה בייט בלבד, מה שמציב אותו בקטגוריה של מודלים קלים מאוד שמיועדים לעבודות קצה.
תוצאות המבחנים שלו מראות בדיוק את הגבולות של הגודל הזה. הוא מגיע לדיוק של כמעט 47 אחוזים בבדיקות ידע פשוטות כמו arc_easy, אבל מתרסק ל־23 אחוזים בלבד במשימות מורכבות יותר כמו arc_challenge. במבחני הבנת הנקרא כמו boolq הוא עומד על 42 אחוז, כלומר הוא מתקשה להסיק מסקנות עקביות מטקסט קצר. הוא יודע לענות על שאלות ישירות באנגלית, אבל לא מחזיק היגיון מעמיק.
מתאים ל
- סיווג פניות באנגלית
מיון ראשוני של טקסטים קצרים בקצה, בלי להוציא כסף על שרתי GPU.
- מענה אוטומטי למכשירים מנותקים
משקל של 201 מגה מאפשר שילוב מקומי בחומרה פשוטה ללא גישה לרשת.
- מחקר על מודלים זעירים
בדיקת יכולות של ארכיטקטורת Llama על גבי 52 מיליון פרמטרים בלבד.
איפה זה נופל
המודל מוגבל לחלון הקשר קצרצר של 1,024 טוקנים, כך שאי אפשר להזין לו מסמכים ארוכים או לנהל איתו שיחה מתמשכת. בנוסף, הוא מאומן באנגלית בלבד ואין לו שום תמיכה בעברית.
היוצרים עצמם מודים שהוא מייצר הזיות, ואפשר לראות את זה אפילו בדוגמאות שלהם, שם הוא טוען שבירת ארצות הברית היא ניו יורק. אסור להסתמך עליו כמאגר ידע עובדתי או לשלב אותו במערכת קריטית בלי בדיקה קפדנית של הפלט.
אותה משפחה
Supra יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מבין עברית?
לא, המודל אומן על נתונים באנגלית בלבד. פניות בעברית ייצרו פלט שבור או חסר משמעות, ולא כדאי לבנות עליו לשום שימוש בשפה הזו.
אפשר לסמוך עליו לתשובות עובדתיות?
ממש לא. כפי שהיוצרים עצמם הציגו, הוא מסוגל לטעון שניו יורק היא בירת ארצות הברית. בנפח של 52 מיליון פרמטרים יכולת שימור העובדות נמוכה מאוד, והוא מתאים בעיקר לתבניות ניסוח פשוטות ולא לאחזור מידע.
איך מריצים
אין שום צורך בכרטיס מסך כדי להריץ את המודל הזה. הקבצים כולם שוקלים 201 מגה בייט, כך שכל לפטופ ממוצע, מכשיר טלפון או שרת זול עם ליבת מעבד בודדת יכולים לטעון אותו בעזרת ספריית transformers של פייתון בלי שום מאמץ.
אם אתם מחפשים תשובות מורכבות, ניתוח מסמכים רחב או תרגום אמין, עדיף בהרבה לפנות ל־API חיצוני של מודל גדול. ההרצה העצמית של מודל כזה נכונה רק כשהפרטיות קריטית, כשהחיבור לרשת מוגבל, או כשצריך מענה מיידי בעלויות שרת אפסיות.
ollama run hf.co/SupraLabs/Supra-50M-Instruct:F16
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
10 קבצים במאגר, 201 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מאפשר שימוש מסחרי מלא בלי תשלום תמלוגים. אתם יכולים לשנות את המשקלים, להטמיע אותם בתוך מוצר סגור או להפיץ אותם הלאה, בתנאי שאתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים