GPT
הוספת כלי
S

Solar-Open-100B

קוד פתוח

upstageother2025-12-10

  • transformers
  • safetensors
  • solar_open
  • text-generation
  • upstage

ארכיטקטורת תערובת מומחים שמחזיקה מעל מאה מיליארד פרמטרים אבל מפעילה רק 12 מיליארד בכל טוקן. הוא נותן עומק ידע של מודל ענק עם מהירות חישוב של מודל קטן.

  • 103Bפרמטרים
  • 131,072טוקנים בהקשר
  • 191 GBמשקל הקבצים
  • 14,464הורדות בחודש

מה זה

במקום להריץ את כל 102.6 מיליארד הפרמטרים בכל מילה, הארכיטקטורה מנתבת כל טוקן לשמונה מומחים ספציפיים מתוך 128, לצד מומחה אחד משותף. המבנה הזה מאפשר לו לרוץ מהר בהרבה ממודלים צפופים בגודל דומה, אחרי שאומן על 19.7 טריליון טוקנים.

במדדים באנגלית הוא מציג יכולות מתמטיקה חזקות, עם ציון של 91.7 במבחן AIME 2024 וציון 88.2 ב־MMLU, לצד ביצועים גבוהים בקוריאנית. מנגד, במשימות תכנות הוא קיבל 74.2 במבחן LiveCodeBench, תוצאה נמוכה משמעותית מזו של מודלים מתחרים בקטגוריית הגודל שלו כמו gpt-oss-120b שהגיע כמעט ל־90.

מתאים ל

  • פתרון בעיות מתמטיות

    הוא הגיע לציון 91.7 במבחן AIME 2024, ומציג דיוק גבוה מאוד בחישובים מורכבים.

  • מערכות דו־לשוניות בקוריאנית

    הוא נבנה במיוחד לקוריאנית ואנגלית ומציג תוצאות גבוהות במבחני רפואה ומשפט בקוריאה.

  • הסקה מהירה במודל ענק

    הפעלת 12 מיליארד פרמטרים מתוך 102 מאפשרת לקבל תפוקת טוקנים מהירה על גבי שרת תואם.

איפה זה נופל

הקשר ארוך הוא נקודת תורפה ברורה כאן. למרות חלון של 128k טוקנים, במבחן AA-LCR להקשר ארוך הוא קיבל ציון נמוך של 35.0 לעומת מעל 45 במתחרים. גם במבחן ההיגיון המורכב HLE הוא נעצר ב־10.5 בלבד, ובמבחן IFBench לעקיבה אחרי הוראות קיבל 53.7, מה שאומר שהוא מתקשה לעמוד בהגבלות פורמט קפדניות.

בנוסף, נתוני האימון מתמקדים באנגלית וקוריאנית בלבד. אין שום תיעוד או בדיקה ליכולות שלו בעברית, ולכן צריך לבדוק אותו ביסודיות לפני שבונים עליו למשימות בשפה המקומית.

שאלות
נפוצות

האם אפשר להריץ אותו על כרטיס RTX 4090 יחיד?

לא. המודל שוקל 191 גיגה־בייט בגרסה הרגילה ודורש לפחות ארבעה כרטיסי A100 עם 80 גיגה זיכרון כל אחד. אפילו גרסת ה־INT4 תדרוש זיכרון מעבר למה שכרטיס בודד של 24 גיגה מציע.

איך הכי מומלץ לפרוס אותו בייצור?

היוצרים ממליצים להריץ אותו דרך תמונת Docker מותאמת של vLLM עם חלוקה על פני שמונה כרטיסי מסך. התצורה הזו כוללת מפענחים מובנים לקריאות כלים והיגיון.

איך הביצועים שלו בכתיבת קוד?

הוא עובד, אבל חלש יותר מחלק מהמתחרים בגודל שלו. במבחן LiveCodeBench הוא השיג ציון 74.2 לעומת כמעט 90 במודלים אחרים של 117 מיליארד פרמטרים.

איך מריצים

כדי להריץ אותו במשקלים המלאים בפורמט bfloat16, דרישת המינימום היא ארבעה מעבדי A100 של 80 גיגה־בייט. החבילה שוקלת 191 גיגה־בייט ודורשת לפחות 320 גיגה־בייט זיכרון גרפי רק בשביל לשבת בזיכרון, בלי לחשב את הטוקנים של ההקשר.

למי שאין שרת של שמונה מאיצים, קיימת גרסה מכווצת ב־INT4 של NotaAI שמקצצת את דרישות הזיכרון. מי שלא מחזיק אשכול שרתים ייעודי שרץ שעות רבות ביום יעדיף לשלם לפי קריאה לממשק חיצוני במקום להחזיק חומרה יקרה כל כך בהמתנה.

from transformers import pipeline

pipe = pipeline("text-generation", model="upstage/Solar-Open-100B")
print(pipe("שלום"))

הקבצים

58 קבצים במאגר, 191 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד בריפו מופץ תחת רישיון Apache 2.0 חופשי, אבל משקלי המודל עצמם סגורים תחת Upstage Solar License. הרישיון מוגדר כרישיון מותאם אישית ולא כקוד פתוח סטנדרטי, ולכן חובה לקרוא את קובץ התנאים המלא שלו לפני שמשלבים את המשקלים במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗