SmolLM-135M-Instruct

מה זה

המודל הזה שייך לסדרת המודלים הקטנים של Hugging Face, ועבר אימון על דאטה סינתטי וחומרי הדרכה ייעודיים, לצד כוונון עדין למענה על הוראות. בגרסה v0.2 שלו הוסיפו שיחות יומיומיות שנוצרו כדי לשפר את היכולת שלו להישאר ממוקד ולא לסטות מהנושא בפניות רגילות.

הוא שונה מרוב המודלים הגדולים בכך שהוא לא מנסה לדעת הכל, אלא להביא יכולת גנרטיבית קלה במיוחד לחומרה חלשה. הוא מצליח לענות על שאלות ידע כללי, לכתוב טקסט חופשי, ולייצר קטעי פייתון בסיסיים, כל עוד הדרישות נשארות פשוטות ולא דורשות שרשראות חשיבה ארוכות.

מתאים ל

• הרצה מקומית בדפדפן

  הוא קל מספיק לעבוד עם Transformers.js ו־WebGPU ישירות אצל הלקוח בלי להחזיק שרת.

• בוט פקודות פשוט באנגלית

  גרסת v0.2 יודעת לקבל ברכות ולענות על שאלות בסיסיות על תפקידה בלי להתפזר.

• יצירת קוד פייתון קצר

  הוא אומן בין היתר על דאטה של StarCoder2 ומסוגל לייצר פונקציות פייתון פשוטות.

איפה זה נופל

המודל תומך באנגלית בלבד. עברית לא נתמכת כאן, ואם תנסו להזין לו שפות אחרות התוצאות ישברו. בנוסף, הוא מתקשה מאוד בחשבון, בעריכת טקסט ובהיגיון מורכב, והתשובות שלו עשויות להכיל טעויות עובדתיות או חוסר עקביות לוגית.

חלון ההקשר מוגבל ל־2,048 טוקנים, כך שאי אפשר להזין לו מסמכים שלמים. לא הייתי משתמש בו לשום משימה שדורשת דיוק מתמטי, הסקת מסקנות רב שלבית או שליפת מידע אמין.

אותה משפחה

SmolLM יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אתם טוענים אותו ישירות דרך ספריית transformers בפייתון או דרך ממשק הטרמינל של TRL, והוא רץ בלי בעיה ישירות על ה־CPU של מחשב רגיל בלי לגעת ב־GPU. המודל זמין גם בפורמטים מותאמים כמו GGUF ו־Transformers.js להרצה בדפדפן דרך WebGPU. המפתחים מציינים שכימות של 4 ביט פוגע באיכות בגודל הזה, ולכן מומלץ לעבוד בדיוק מלא יותר כמו q016 או המשקלים הרגילים, עם טמפרטורה של 0.2 ו־top-p של 0.9.

אם אתם צריכים רק להשלים טקסט בסיסי באפליקציה מקומית או במכשיר קצה, אין שום סיבה לשלם על API חיצוני. מנגד, אם המשימה שלכם כוללת לוגיקה מורכבת או שפות שאינן אנגלית, חבל על זמן הריצה המקומי ועדיף לפנות למודל גדול יותר בענן.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM-135M-Instruct")
print(pipe("שלום"))

הקבצים

18 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/model.onnx539.0 MB
• onnx/model_fp16.onnx270.0 MB
• model.safetensors269.1 MB
• onnx/model_q4.onnx180.7 MB
• onnx/model_bnb4.onnx174.1 MB
• onnx/model_uint8.onnx135.8 MB
• onnx/model_int8.onnx135.8 MB
• onnx/model_quantized.onnx135.8 MB
• onnx/model_q4f16.onnx117.4 MB
• tokenizer.json2.1 MB
• vocab.json800.7 KB
• merges.txt466.4 KB
• README.md5.6 KB
• tokenizer_config.json3.6 KB
• .gitattributes1.5 KB
• config.json723 B
• special_tokens_map.json565 B
• generation_config.json156 B

הרישיון

רישיון Apache 2.0 מתיר שימוש מסחרי מלא, שינוי של הקוד והמשקלים והפצה חופשית בתוך מוצרים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים וציון הרישיון המקורי, בלי חובת פתיחת הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗