GPT
הוספת כלי
S

SmolLM2-1.7B-Instruct

קוד פתוח

HuggingFaceTBapache-2.02024-10-31

  • transformers
  • tensorboard
  • onnx
  • safetensors
  • llama

מודל שפה קטן של 1.7 מיליארד פרמטרים שרץ ישירות על המכשיר ומיועד לפעולות מהירות מקומיות בלי תלות בשרתים. הוא נותן מענה מצוין לעקיבה אחרי הוראות, שכתוב טקסט והפעלת פונקציות.

  • 1.7Bפרמטרים
  • 8,192טוקנים בהקשר
  • 21.1 GBמשקל הקבצים
  • 232,419הורדות בחודש

מה זה

מדובר במודל הוראות קומפקטי שאומן על 11 טריליון טוקנים, כמות עצומה לגודל שלו, ועבר כוונון ייעודי למילוי הוראות ודירוג העדפות. הוא מתאים למי שרוצה יכולות עיבוד שפה ישירות על חומרה מקומית או בדפדפן, בלי לשלם על קריאות רשת או לחשוש מפרטיות. הוא מספק מענה טוב במיוחד במשימות עריכה, סיכום, ותמיכה בקריאות פונקציה מובנות.

במדדי מעקב אחר הוראות כמו IFEval המודל מוביל על מתחרים ישירים כמו Llama-1B ו־Qwen2.5-1.5B, מה שאומר שהוא יודע לציית למגבלות ניסוח בלי לסטות בקלות. לעומת זאת, במבחני ידע רחב ומורכב דוגמת MMLU-Pro ו־MT-Bench הוא מפגר אחרי Qwen, כך שאי אפשר לצפות ממנו להבנה אנציקלופדית עמוקה, אלא בעיקר לביצוע מדויק של פקודות מוגדרות היטב.

מתאים ל

  • שכתוב ועריכת טקסטים

    הוא מציג תוצאות גבוהות במבחני IFEval ומבצע התאמות סגנון וניסוח במהירות מקומית.

  • סיכום נתונים בצד לקוח

    רץ ישירות בדפדפן עם Transformers.js ומסכם מיילים או מאמרים בלי להוציא מידע לרשת.

  • עוזר מקומי על חומרה חלשה

    צורך מעט מאוד זיכרון ועובד ישירות על המעבד בלי צורך בכרטיס מסך ייעודי.

איפה זה נופל

המודל אומן בעיקר על אנגלית, והיוצרים מציינים במפורש שהוא מיועד לשפה זו. אם תנסו לעבוד איתו בעברית, אתם צפויים להיתקל בתוצאות ירודות או בהזיות. מעבר לזה, יכולת הפעלת הפונקציות שלו עומדת על 27% בלבד במבחן BFCL, נתון נמוך שדורש בדיקה קפדנית של כל פלט לפני שמשלבים אותו באוטומציה אמיתית. הוא גם נוטה להמציא עובדות ואינו מתאים כמקור מידע מוחלט.

אותה משפחה

SmolLM2 יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM2-135M2,550,777 SmolLM2-135M-Instruct1,357,789 SmolLM2-360M483,957 SmolLM2-1.7B380,106 SmolLM2-360M-Instruct298,126 SmolLM2-360M-Instruct-GGUF8,493 SmolLM2-1.7B-Instruct-GGUF7,757

שאלות
נפוצות

האם אפשר להשתמש בו למוצר שעובד בעברית?

הכרטיס מצהיר על תמיכה באנגלית בלבד. המודל לא עבר אופטימיזציה לעברית, ולכן הוא לא מתאים לעיבוד שפה מקומי עבור משתמשים ישראלים אלא אם מדובר בתכנים באנגלית.

האם המודל אמין מספיק להפעלת פונקציות וכלים?

הוא מקבל ציון של 27% בלבד במדד BFCL להפעלת כלים. זה אומר שהוא מבין את הקונספט, אבל ייכשל בחלק גדול מהמקרים, ולכן לא הייתי בונה עליו תהליכי אוטומציה קריטיים בלי מנגנוני אימות הדוקים.

איך מריצים

אתם יכולים לטעון אותו בעזרת ספריית transformers בפייתון בשתי שורות קוד, או להריץ אותו ישירות מטרמינל עם trl chat. המודל עובד גם בסביבת JavaScript דרך Transformers.js, מה שפותח אפשרות להריץ אותו לגמרי בצד הלקוח.

מבחינת חומרה, 1.7 מיליארד פרמטרים בדיוק של bfloat16 דורשים פחות מ־4 גיגה־בייט זיכרון גרפי, כך שהוא רץ בקלות על כרטיסי מסך פשוטים וגם על מעבדים רגילים של מחשבים אישיים. אם אתם צריכים לוגיקה כבדה מאוד או פתרון בעיות מתמטיות סבוכות, עדיף לפנות ל־API של מודל ענק ולא להסתמך עליו.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-1.7B-Instruct")
print(pipe("שלום"))

הקבצים

28 קבצים במאגר, 21.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי חופשי, שינוי של המשקלים והפצה של המודל כחלק ממוצר סגור. התנאי העיקרי הוא שמירת הקרדיט והצהרת הרישיון המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗