GPT
הוספת כלי
S

solar-pro-preview-instruct

קוד פתוח

upstagemit2024-09-09

  • transformers
  • safetensors
  • solar
  • text-generation
  • nlp

גרסת תצוגה מקדימה של מודל שיחה שמרחיב את Phi-3-medium לגודל 22 מיליארד פרמטרים. המטרה היא לקבל דיוק של מודלים ענקיים אבל על כרטיס גרפי בודד.

  • 22Bפרמטרים
  • 4,096טוקנים בהקשר
  • 41.2 GBמשקל הקבצים
  • 6,481הורדות בחודש

מה זה

הצוות של Upstage לקח את Phi-3-medium של מיקרוסופט והרחיב אותו מ־14 ל־22 מיליארד פרמטרים בשיטה של depth up-scaling. המודל עבר אימון ייעודי למעקב אחרי הוראות בפורמט ChatML, והוא מתחרה ישירות במודלים פתוחים בקטגוריית הביניים.

במבחני ביצועים הוא עוקף את הדגם שממנו נבנה ומציג שיפור חד, במיוחד במבחן IFEval שבודק ציות להנחיות, שם הוא מגיע ל־84.37 נקודות מול 64.37 של מודל המקור. התוצאה הזו שמה אותו קרוב מאוד לביצועים של Llama 3.1 70B במשימות מעקב הוראות וחישוב, למרות שהוא קטן ממנו בהרבה.

מתאים ל

  • מענה לפניות קצרות באנגלית

    התוצאה שלו ב־IFEval גבוהה מאוד, מה שמבטיח ציות מדויק להגבלות פורמט.

  • פתרון בעיות מתמטיות

    עם ציון של 89.69 ב־GSM8K, הוא חזק מאוד בחישובים מרובי שלבים.

  • שילוב במוצר מסחרי

    רישיון MIT מאפשר להטמיע אותו במערכות פנימיות בלי מגבלות שימוש של חברות ענק.

איפה זה נופל

זו גרסת preview, והמגבלות שלה מורגשות מיד. חלון ההקשר קצר מאוד ועומד על 4,096 טוקנים בלבד, מה שפוסל אותו לעבודה עם מסמכים ארוכים או היסטוריית שיחה עמוקה. בנוסף, הוא תומך באנגלית בלבד ולא מתאים לעברית. מבחינה טכנית, הוא עדיין לא תומך בהוראות מערכת (system prompts) בתבנית השיחה, כך שקשה לכפות עליו אישיות או כללי התנהגות קשיחים.

שאלות
נפוצות

האם המודל יודע לעבוד בעברית?

לא. המודל שוחרר עם תמיכה באנגלית בלבד. כרטיס המודל מציין כי הרחבה לשפות נוספות מתוכננת לגרסה המלאה, כך שכרגע הוא לא מתאים לעיבוד טקסטים בעברית.

אפשר להגדיר לו הנחיות מערכת (System Prompt)?

בגרסה הזו לא. היוצרים מבהירים כי תבנית ה־ChatML במודל ה־preview תומכת כרגע רק בהודעות משתמש ועוזר, ותמיכה ב־system prompts תיכנס רק בגרסה הרשמית.

איך מריצים

כדי להריץ אותו מקומית צריך כרטיס גרפי רציני. משקל הקבצים עומד על 41.2 ג'יגה בייט בדיוק bfloat16, והיוצרים מציינים במפורש שהוא מיועד לעבוד על כרטיס בודד של 80GB VRAM. ההרצה נעשית דרך ספריית transformers הרגילה של פייתון עם הגדרת trust_remote_code.

אם אין לכם חומרה ברמה של A100 או H100, אין טעם לנסות לדחוף אותו לכרטיסים ביתיים בלי קוונטיזציה. במצב כזה עדיף לגשת ישירות ל־API שהחברה מציעה דרך Upstage Console ולחסוך את עלויות הברזלים.

from transformers import pipeline

pipe = pipeline("text-generation", model="upstage/solar-pro-preview-instruct")
print(pipe("שלום"))

הקבצים

24 קבצים במאגר, 41.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמשקולות משוחררים תחת רישיון MIT. מדובר באחד הרישיונות הכי מתירניים שיש: מותר להשתמש במודל לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולמכור שירותים שמבוססים עליו, בלי צורך לחלוק קוד מקור ומבלי לשלם תמלוגים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗