GPT
הוספת כלי
S

SmolLM-1.7B-Instruct

קוד פתוח

HuggingFaceTBapache-2.02024-07-15

  • transformers
  • onnx
  • safetensors
  • llama
  • text-generation

מודל שיחה קומפקטי שמיועד לרוץ מקומית בלי לחנוק את החומרה. הוא מתאים למי שרוצה מענה בסיסי באנגלית על גבי מחשב רגיל בלי תלות ברשת.

  • 1.7Bפרמטרים
  • 2,048טוקנים בהקשר
  • 21.1 GBמשקל הקבצים
  • 8,623הורדות בחודש

מה זה

המודל הזה הוא הגרסה הגדולה במשפחת מודלים קטנים שאומנו על דאטה סינתטי וחינוכי שנבחר בקפידה. מעבר לאימון הבסיס, הוא עבר כוונון ייעודי להוראות באמצעות שילוב של סטים לשיחות יומיומיות, דוגמאות קוד מפרויקט StarCoder2, ואימון להעדפות אנושיות. המטרה כאן היא לתת מענה סביר לפקודות ישירות בלי לנפח את דרישות המחשוב.

בגרסה השנייה שלו, המפתחים החליפו את תערובת הנתונים כדי לשפר את היכולת שלו להישאר ממוקד בנושא ולהגיב נכון לברכות ולשאלות תפקיד. המודל מסוגל לענות על שאלות ידע כללי, לנסח טקסטים יצירתיים ולכתוב קוד פשוט בפייתון, תחומים שבהם מודלים בסדר גודל כזה בדרך כלל מתקשים לספק פלט יציב בלי להזות ללא הפסקה.

מתאים ל

  • בוט שיחה מקומי

    הוא מגיב מהר על חומרה פשוטה ומתאים לדיאלוגים בסיסיים באנגלית בלי לשלוח מידע החוצה.

  • סקריפטים פשוטים בפייתון

    האימון כלל דאטה מקוד פתוח, ולכן הוא יודע לייצר קטעי קוד קצרים ומוגדרים היטב.

  • מענה במכשיר קצה

    הוא קיים בגרסאות קלות שרצות ישירות בדפדפן או בסביבות מקומיות מוגבלות במשאבים.

איפה זה נופל

המודל הזה מוגדר רשמית לאנגלית בלבד. אל תצפו ממנו לקרוא או לכתוב עברית באופן שמיש. בנוסף, חלון ההקשר שלו מוגבל ל־2,048 טוקנים, מה שפוסל אותו מניתוח מסמכים ארוכים.

היוצרים שלו מבהירים שהוא מתקשה בחשבון, במשימות עריכה מורכבות ובהסקה לוגית מתקדמת. התוכן שהוא מייצר עלול לכלול שגיאות עובדתיות והטיות, כך שלא הייתי סומך עליו כמקור ידע מוסמך.

אותה משפחה

SmolLM יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

SmolLM-135M169,131 SmolLM-1.7B69,805 SmolLM-135M-Instruct34,091 SmolLM-360M-Instruct12,811 SmolLM-360M8,128

שאלות
נפוצות

האם אפשר להשתמש בו למוצר שפונה לקהל ישראלי?

לא. המודל אומן ותומך באנגלית בלבד. ניסיון לחלץ ממנו פלט בעברית יוביל לתוצאות משובשות או להזיות.

האם כדאי לכווץ אותו ל־4 ביט כדי לחסוך זיכרון?

במקרים כאלה עדיף להיזהר. המפתחים ציינו שדחיסה ל־4 ביט פוגעת בביצועים של המודלים הקטנים בסדרה, ולכן עדיף להריץ אותו בפורמטים מותאמים אחרים אם המשאבים מאפשרים.

איך מריצים

אתם מריצים אותו דרך ספריית transformers בפייתון בשורות בודדות, או ישירות מהטרמינל עם TRL. הוא תומך בהרצה על גבי מעבד רגיל או על כרטיס מסך, וקיימות גרסאות מותאמות בפורמטים כמו GGUF ופורמטים שמתאימים ישירות לדפדפן.

אם אתם צריכים רק מענה מקומי למשימה מוגדרת, הוא יעבוד מצוין על חומרה ביתית. מנגד, אם אתם בונים שירות שדורש עיבוד של טקסטים ארוכים, פתרון בעיות מורכבות או עומס משתמשים גבוה, עדיף לפנות ל־API של מודל ענן גדול.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceTB/SmolLM-1.7B-Instruct")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 21.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הוא מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה מחדש. אתם יכולים לשלב אותו במוצר שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗