LLaDA-MoE-7B-A1B-Instruct

מה זה

מדובר במודל שפה מבוסס דיפוזיה, להבדיל ממודלים אוטורגרסיביים רגילים שפולטים מילה אחרי מילה. הוא אומן מאפס על כעשרים טריליון טוקנים, וכולל ארכיטקטורת מומחים שמאפשרת להחזיק מעל שבעה מיליארד פרמטרים בקובץ אבל להפעיל רק חלק קטן מהם בזמן חישוב בפועל.

הוא מיועד לעבודה מעשית עם הנחיות וכולל יכולות של הפעלת כלים, כתיבת קוד ופתרון בעיות מתמטיות. בניגוד למודלים צפופים באותו סדר גודל, השילוב של מומחים עם דיפוזיה מנסה לתת מענה זול יותר חישובית בלי לוותר על עומק ההבנה של מודל גדול יותר.

מתאים ל

• הפעלת סוכנים וכלים

  הוא אומן לתמוך בקריאות לפונקציות ומתאים למערכות שדורשות שילוב כלים חיצוניים.

• יצירת קוד בסביבה מקומית

  מפעיל רק 1.4 מיליארד פרמטרים בזמן ריצה ומספק ביצועים גבוהים במשימות תכנות.

• פתרון בעיות מתמטיות

  האימון שלו התמקד במשימות היגיון מורכבות שמצריכות חישוב מדויק בחומרה מוגבלת.

איפה זה נופל

יש פער לא ברור בנתונים שהיוצרים מפרסמים לגבי חלון ההקשר, כשמקום אחד מדווח על 8,192 טוקנים והמפרט עצמו נוקב ב־4,096 בלבד. מעבר לזה, מודלי דיפוזיה לשפה דורשים ספריות ייעודיות כמו dInfer כדי לא לזחול, ובסביבת transformers רגילה המהירות צונחת בלי האופטימיזציות האלה. אין בכרטיס שום מידע על תמיכה בשפות אחרות כמו עברית.

איך מריצים

כדי להריץ אותו צריך זיכרון שיחזיק 13.7 גיגה בייט של משקלים, כלומר כרטיס מסך בודד עם 16 או 24 גיגה בייט של זיכרון יעשה את העבודה בפורמט הרגיל. המפתחים ממליצים להמיר את המשקלים למבנה מאוחד ולהריץ דרך ספריית dInfer שלהם לקבלת קצב יצירה גבוה, במקום שימוש ישיר ואיטי בספריית transformers.

אם אתם רוצים מהירות גבוהה במיוחד בלי להסתבך עם המרות, יש להם גרסה בשם Instruct-TD שמשתמשת בזיקוק מסלולים כדי לחלץ כמה טוקנים בריצה אחת. למי שאין כרטיס מתאים מקומית, עדיף להמתין לשירותי ענן שיריצו את התשתית הייעודית הזו.

from transformers import pipeline

pipe = pipeline("text-generation", model="inclusionAI/LLaDA-MoE-7B-A1B-Instruct")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 13.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors5.0 GB
• model-00002-of-00003.safetensors5.0 GB
• model-00003-of-00003.safetensors4.7 GB
• tokenizer.json7.7 MB
• model.safetensors.index.json287.2 KB
• modeling_lladamoe.py55.6 KB
• README.md10.4 KB
• tokenizer_config.json4.6 KB
• configuration_lladamoe.py3.5 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• special_tokens_map.json181 B
• generation_config.json143 B

הרישיון

הקוד והמשקלים זמינים תחת רישיון אפאצ'י 2.0. מותר להשתמש בהם לצרכים מסחריים, לשנות את הקוד ולהטמיע בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗