GPT
הוספת כלי
S

SmolLM3-3B-Base

קוד פתוח

HuggingFaceTBapache-2.02025-06-19

  • transformers
  • onnx
  • safetensors
  • smollm3
  • text-generation

מודל בסיס פתוח לחלוטין עם 3.1 מיליארד פרמטרים וחלון הקשר גדול, שנבנה כנקודת מוצא לאימון עצמאי. הוא רלוונטי למי שרוצה בסיס קל משקל ולא מודל שעבר התאמה לשיחה.

  • 3.1Bפרמטרים
  • 65,536טוקנים בהקשר
  • 38.8 GBמשקל הקבצים
  • 840,306הורדות בחודש

מה זה

מדובר במודל גולמי שאומן על 11.2 טריליון טוקנים עם ארכיטקטורת שנאי מסוג מפענח בלבד, תוך שימוש ב־GQA וב־NoPE. הוא לא עבר fine-tuning להוראות ולכן הוא פשוט משלים טקסט ולא עונה לשאלות כעוזר אישי. היתרון המרכזי כאן הוא הפתיחות, כי האני פייס שחררו את תערובת הנתונים, קובצי ההגדרות ונקודות הביקורת מכל שלבי האימון.

במבחני הבסיס הוא עוקף מודלים מקבילים כמו Qwen2.5-3B ו־Llama3.2-3B במשימות חשיבה כמו HellaSwag עם ציון 76.15 ו־BoolQ עם 78.99. עם זאת, במבחני קוד כמו HumanEval+ הוא קיבל 30.48, שזה נמוך יותר מ־34.14 של Qwen2.5-3B והרבה מתחת ל־Qwen3-4B-Base שהגיע ל־54.87.

מתאים ל

  • בסיס לכיוונון עדין

    הוא מציע משקולות גולמיות ונתוני אימון גלויים, מה שמתאים למי שרוצה לאמן מודל משלו על דאטה ייעודי.

  • מחקר על תהליכי אימון

    נקודות הביקורת ותערובות הנתונים שפורסמו מאפשרות לחקור איך המודל מתפתח לאורך 11.2 טריליון טוקנים.

  • עיבוד מסמכים ארוכים

    תמיכה מובנית ב־64k טוקנים שניתנת להרחבה עד 128k מאפשרת לנתח קבצים כבדים בלי לחתוך אותם.

איפה זה נופל

זהו מודל בסיס ולא מודל שיחה, מה שאומר שהוא ימשיך טקסטים במקום לענות להנחיות שלכם. הכרטיס מודה במפורש שהתוכן המיוצר עלול לכלול שגיאות עובדתיות, חוסר עקביות לוגית והטיות שמקורן בנתוני האימון. בנוסף, עברית לא נכללת ברשימת השפות שנתמכות באופן רשמי, כך שאי אפשר לבנות עליו לעיבוד שפה מקומית בלי לאמן אותו מחדש.

אותה משפחה

SmolLM3 יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM3-3B577,998

שאלות
נפוצות

האם המודל הזה מתאים לשימוש כעוזר בצ'אט?

לא. מדובר בגרסת בסיס שלא עברה יישור להוראות, ולכן הוא ישלים משפטים במקום לענות. לשיחות צריך להשתמש בגרסת SmolLM3-3B הרגילה שעברה אימון ייעודי.

האם יש למודל תמיכה בעברית?

הכרטיס לא מציין תמיכה בעברית ומפרט תמיכה מלאה רק באנגלית, צרפתית, ספרדית, גרמנית, איטלקית ופורטוגזית, לצד נתונים מוגבלים בערבית, סינית ורוסית. בלי אימון נוסף, לא כדאי להסתמך עליו בעברית.

איך מריצים

כדי להריץ אותו דרך ספריית transformers צריך לעדכן לפחות לגרסה 4.53.0, או להשתמש ב־vLLM. למרות שהמודל כולל 3.1 מיליארד פרמטרים, הקבצים בעמוד שוקלים 38.8 גיגה בייט בפורמט bfloat16 על פני 27 קבצים, כך שצריך כרטיס מסך עם זיכרון ייעודי סביר כדי לטעון אותו, או להשתמש בגרסאות מכווצות בפורמטים כמו llama.cpp, ONNX, MLX או MLC.

המודל מוגדר כברירת מחדל לחלון הקשר של 65,536 טוקנים, וניתן להרחיב אותו ל־131,072 טוקנים באמצעות שינוי הגדרות ה־YaRN בקובץ התצורה. אם כל מה שאתם צריכים זה צ'אט שעובד מיד ולא אימון מודל משלכם, עדיף לפנות לגרסת ההוראות SmolLM3-3B או לצרוך מודל מרוחק דרך API.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM3-3B-Base")
print(pipe("שלום"))

הקבצים

27 קבצים במאגר, 38.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון Apache 2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי מלא, שינוי של המשקלים, הפצה ושילוב בתוך מוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים וכתב הוויתור המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗