LLaDA2.0-mini

מה זה

הארכיטקטורה כאן שונה מרוב מה שמסתובב בשוק. במקום מודל שפה רגיל שפולט מילה אחרי מילה, מדובר במודל דיפוזיה שמתבסס על ארכיטקטורת מומחים. יש לו 16 מיליארד פרמטרים בסך הכל, אבל בכל שלב חישוב פעילים רק 1.4 מיליארד, מה שחוסך משאבים בלי לוותר על איכות הידע שנצבר באימון על 20 טריליון טוקנים.

במבחני ביצועים הוא עומד יפה מאוד מול מתחרים דחוסים בגודל 8B ואפילו עוקף אותם בחלק מהמשימות. הוא מציג תוצאות טובות בקוד עם 86.59 במבחן HumanEval וציון של 93.22 במתמטיקה במבחן MATH, לצד ביצועים סבירים של 70.90 בהפעלת כלים לפי מדד BFCL_Live.

מתאים ל

• פתרון בעיות מתמטיות

  משיג תוצאה של 93.22 במבחן MATH ומתאים לחישובים מורכבים.

• יצירת קוד פייתון

  עם ציון של 86.59 ב־HumanEval הוא מספק בסיס חזק להשלמת קוד.

• הפעלת כלים וסוכנים

  תומך ב־Tool Calling ומציג 70.90 במדד BFCL_Live למשימות אוטונומיות.

איפה זה נופל

המודל רגיש מאוד להגדרות הריצה. היוצרים מדגישים שחייבים להריץ אותו עם טמפרטורה 0.0, כי כל ערך גבוה יותר גורם לערבוב שפות ולנפילה ברמת הביצועים. בנוסף, משימות מורכבות במיוחד חושפות חולשה, ובמבחן BigCodeBench-Full הוא קיבל 32.89 בלבד. היכולת שלו לעקוב אחרי הוראות קפדניות ב־IFEval עומדת על 80.78, נמוך יותר מחלק מהמתחרים, מה שמחייב בדיקה של הפרומפטים לפני שמשלבים אותו בסביבה חיה.

אותה משפחה

LLaDA2.0-mini יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקלים תופסים 30.3 גיגה בייטים בזיכרון האחסון, מה שאומר שתצטרכו כרטיס מסך מקצועי עם לפחות 32 גיגה זיכרון כדי לטעון אותו, או לחלופין לפצל אותו על כמה כרטיסים ביתיים דרך ספריית transformers. למרות שרק חלק קטן מהפרמטרים רץ בפועל, כל המודל חייב לשבת בזיכרון.

אם אתם לא רוצים להחזיק שרת כזה פעיל, שווה לבדוק אם יש שירותי ענן שמריצים אותו ישירות. מי שמעדיף משהו שונה מעט יכול לבדוק גם את גרסת ה־flash מאותה משפחה, שנועדה ליישומים מהירים יותר.

from transformers import pipeline

pipe = pipeline("text-generation", model="inclusionAI/LLaDA2.0-mini")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 30.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00007.safetensors5.0 GB
• model-00006-of-00007.safetensors5.0 GB
• model-00005-of-00007.safetensors5.0 GB
• model-00004-of-00007.safetensors5.0 GB
• model-00003-of-00007.safetensors5.0 GB
• model-00002-of-00007.safetensors5.0 GB
• model-00007-of-00007.safetensors2.5 GB
• tokenizer.json7.7 MB
• model.safetensors.index.json1.3 MB
• modeling_llada2_moe.py58.2 KB
• README.md7.1 KB
• tokenizer_config.json4.6 KB
• configuration_llada2_moe.py3.2 KB
• .gitattributes1.5 KB
• config.json1.5 KB
• special_tokens_map.json180 B

הרישיון

הפרויקט מופץ ברישיון Apache 2.0 מלא. זה אומר שמותר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לצרף אותו למוצרים סגורים ולהפיץ אותו בחופשיות, כל עוד משאירים את הצהרת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗