GPT
הוספת כלי
S

SmolLM2-135M-Instruct

קוד פתוח

HuggingFaceTBapache-2.02024-10-31

  • transformers
  • tensorboard
  • onnx
  • safetensors
  • llama

מודל זעיר שרץ ישירות בדפדפן או על מעבד מקומי בלי תלות בשרתים. הוא מיועד למי שצריך פעולות טקסט בסיסיות באנגלית בתוך מכשיר קצה ובמשקל אפסי.

  • 135Mפרמטרים
  • 8,192טוקנים בהקשר
  • 1.8 GBמשקל הקבצים
  • 1,357,789הורדות בחודש

מה זה

המודל הזה אומן על שני טריליון טוקנים, כולל מקורות כמו FineWeb-Edu ו־The Stack, ועבר כוונון ייעודי להוראות בשיטות SFT ו־DPO. למרות הגודל המזערי שלו, הוא מסוגל לבצע שכתוב טקסט, תמצות ומענה בסיסי להוראות.

מבחני הביצועים מראים שיפור ביחס לגרסה הראשונה שלו, במיוחד במעקב אחר הנחיות ב־IFEval, שם הוא עלה מ־17.2 ל־29.9. יחד עם זאת, במבחני ידע וחשיבה כמו MMLU עם 29.3 נקודות ו־GSM8K עם 1.4 נקודות בלבד, ברור שמדובר במודל שלא מחזיק ידע עמוק ולא יודע לפתור בעיות מתמטיות או לוגיות מורכבות.

מתאים ל

  • שכתוב טקסט בדפדפן

    רץ ישירות בתוך JavaScript ללא שרת ומאפשר לתקן ניסוחים באנגלית במכשיר הקצה.

  • תמצות קצר על חומרת קצה

    מבצע סיכום של פסקאות פשוטות על מעבד רגיל בלי צורך בכרטיס מסך ייעודי.

  • פיתוח ובדיקת פייפליינים

    נטען בשניות בזיכרון ומאפשר לבדוק תהליכי קוד מקומיים לפני מעבר למודל ענק.

איפה זה נופל

היוצרים מבהירים שהמודל תומך רק באנגלית, כך שהוא לא מתאים לעבודה בעברית. היכולת הלוגית שלו מוגבלת מאוד, והוא נוטה לייצר חוסר דיוקים בעובדות וסתירות פנימיות. בנוסף, יכולת הפעלת הפונקציות קיימת רק בגרסת 1.7B של הסדרה ולא בגרסה הזו, כך שאי אפשר להשתמש בו לסוכנים או לחיבור לכלים חיצוניים.

אותה משפחה

SmolLM2 יצא ב־8 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM2-135M2,550,777 SmolLM2-360M483,957 SmolLM2-1.7B380,106 SmolLM2-360M-Instruct298,126 SmolLM2-1.7B-Instruct232,419 SmolLM2-360M-Instruct-GGUF8,493 SmolLM2-1.7B-Instruct-GGUF7,757

שאלות
נפוצות

האם המודל תומך בעבודה בעברית?

הכרטיס מציין במפורש שהאימון והתמיכה מיועדים לאנגלית בלבד. המודל לא מתאים לקריאה או לכתיבה של טקסטים בעברית.

האם אפשר לחבר אותו לכלים ולבצע Function Calling?

לא. היכולת הזו נתמכת בסדרה רק בגרסת ה־1.7B, וגרסת ה־135M הזו אינה כוללת תמיכה בהפעלת פונקציות.

איך מריצים

בזכות המשקל הנמוך, אין צורך בכרטיס מסך ייעודי כדי להריץ אותו. אפשר להעלות אותו ישירות על מעבד של מחשב נייד או להשתמש בספריית Transformers.js כדי להריץ אותו ישירות בדפדפן של המשתמש בסביבת JavaScript.

אם אתם צריכים רק תיוג מהיר של טקסטים או שכתוב מקומי, אין טעם לשלם על API חיצוני. מנגד, אם המשימה שלכם כוללת לוגיקה רב־שלבית או עבודה עם נתונים מורכבים, המודל הזה ייכשל ותצטרכו לפנות למודלים גדולים דרך API.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-135M-Instruct")
print(pipe("שלום"))

הקבצים

25 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקלים מופצים ברישיון Apache 2.0. הרישיון מאפשר שימוש מסחרי חופשי, שינוי של המודל והפצה שלו בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗