GPT
הוספת כלי
S

Solar-Open2-250B-Nota-INT4

קוד פתוח

nota-aiother2026-07-21

  • vllm
  • safetensors
  • solar_open2
  • quantization
  • int4

גרסת 4-ביט מכווצת למודל MoE ענק שמאפשרת להריץ יכולות הסקה וקוד ברמה גבוהה בלי להחזיק שרת של חצי טרה זיכרון. פתרון ממוקד למי שרוצה חלון הקשר עצום וביצועי קצה.

  • 41Bפרמטרים
  • 1,048,576טוקנים בהקשר
  • 133 GBמשקל הקבצים
  • 3,140הורדות בחודש

מה זה

המודל הזה לוקח את Solar Open2 המקורי של Upstage ומכווץ אותו לפורמט W4A16 באמצעות אלגוריתמים ייעודיים של חברת Nota AI. במקום לקרוס תחת קוונטיזציה אגרסיבית, הטכנולוגיה שומרת על ניתוב המומחים בארכיטקטורת ה־MoE, כך שהדיוק כמעט לא נפגע. מתוך 250 מיליארד פרמטרים פועלים כ־41 מיליארד בכל שלב, מה שמאפשר מהירות תגובה סבירה ביחס לגודל.

מבחני הביצועים מראים ירידה מזערית בלבד לעומת המקור ב־BF16, ממוצע של 81.17 נקודות מול 81.57. הוא שומר על ציונים מרשימים במיוחד במבחני מתמטיקה כמו AIME עם 96 אחוז, לצד תוצאות חזקות בכתיבת קוד של 85.5 ב־LiveCodeBench. בנוסף, חלון ההקשר מגיע למיליון טוקנים, נתון חריג למודלים במשקל הזה שמאפשר להזין מסמכים ארוכים מאוד בבת אחת.

מתאים ל

  • ניתוח קוד ופיתוח תוכנה

    הוא משיג 85.5 ב־LiveCodeBench ומתאים לכתיבת קוד מורכב, פתרון באגים וסקירת ארכיטקטורה באנגלית.

  • פתרון בעיות מתמטיקה והיגיון

    עם ציון של 96 במבחן AIME, המודל מציג יכולות הסקה וחישוב חריגות שמתאימות למשימות מחקר מדויקות.

  • עיבוד טקסטים ארוכים באסייתית

    התמחות ייעודית ביפנית וקוריאנית לצד חלון הקשר של מיליון טוקנים מאפשרת ניתוח מסמכי ענק בשפות אלו.

איפה זה נופל

המודל מוגדר ומכויל לשלוש שפות בלבד: אנגלית, קוריאנית ויפנית. עברית לא נתמכת כאן באופן רשמי, והניסיון לעבוד איתה צפוי להניב תוצאות שבורות והזיות. חיסרון נוסף מופיע בבדיקת HLE שבה המודל משיג רק 27.15 אחוז, מה שמעיד על קושי ממשי בהבנה והסקה מורכבת ברמה אנושית גבוהה. בנוסף, קבצי המשקל שוקלים 133 גיגה-בייט ומחולקים ל־40 קבצים שונים, מה שמסבך את תהליך ההורדה והניהול המקומי.

שאלות
נפוצות

האם המודל ירוץ על כרטיס מסך בודד?

לא. משקל המודל לבדו דורש כ־143 גיגה-בייט של זיכרון גרפי, כך שאי אפשר לטעון אותו על כרטיס יחיד. תצטרכו שרת עם מערך מרובה כרטיסים, כמו ארבעה מעבדים גרפיים ייעודיים, כדי להפעיל אותו עם vLLM.

כמה דיוק נאבד במעבר לגרסת ה־4-ביט?

האיבוד כמעט אפסי. הממוצע הכללי ירד מ־81.57 נקודות במקור ל־81.17 בגרסה המכווצת, כאשר במבחני מתמטיקה כמו AIME הוא אפילו הציג שיפור קל ל־96 נקודות.

האם המודל מתאים לפיתוח אפליקציות בעברית?

לא מומלץ. רשימת השפות הנתמכות כוללת אנגלית, קוריאנית ויפנית בלבד, והמבחנים לא בדקו שפות אחרות, כך שביצועיו בעברית צפויים להיות ירודים ולא אמינים.

איך מריצים

כדי להריץ אותו תצטרכו שרת עם לפחות 143 גיגה-בייט של זיכרון וידאו פנוי רק למשקלי המודל, ועוד מרווח נכבד עבור ה־KV cache אם תרצו לנצל את חלון ההקשר הגדול. בפועל זה דורש מערך של ארבעה כרטיסי GPU חזקים לפחות, והרצה באמצעות vLLM עם פרמטר tensor-parallel מותאם.

ההתקנה דורשת גרסת vLLM מותאמת אישית של Upstage ופייתון 3.12. אם אין לכם גישה לברזל מקומי כזה באופן שוטף, עלויות התחזוקה וההקמה של שרת ייעודי הופכות את ההרצה העצמית ללא משתלמת בהשוואה לצריכת API חיצוני.

pip install -U huggingface_hub
hf download nota-ai/Solar-Open2-250B-Nota-INT4

הקבצים

40 קבצים במאגר, 133 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא רישיון Solar ייעודי של Upstage שמגדיר תנאים נוקשים לנגזרות. אם אתם מאמנים, מזקקים או משפרים אותו, חובה להוסיף את הקידומת Solar לשם המודל החדש, להציג באופן בולט את הכיתוב Built with Solar בכל חומר שפונה למשתמשים, ולצרף את נוסח הרישיון המקורי. חובה לבדוק את תנאי המסמך המלא לפני שמשלבים אותו במוצר מסחרי.

הרישיון המלא בעמוד המודל ↗