MMaDA-8B-Base

מה זה

מדובר במודל בסיס שמשתמש בארכיטקטורת דיפיוז'ן אחידה במקום במודל שפה אוטורגרסיבי רגיל. הוא עושה משימות any-to-any, כלומר מקבל טקסט ומייצר טקסט או תמונות בלי רכיבים ייעודיים שנפרדים לכל סוג מדיה. הגישה הזו נשענת על ניסוח הסתברותי משותף שמטפל במידע בלי תלות בסוג המודליות.

מעבר למבנה הדיפיוז'ן, המפתחים שילבו כאן אימון שרשרת מחשבה ארוכה שמשותפת לטקסט ולתמונה, יחד עם אלגוריתם בשם UniGRPO שמבצע אופטימיזציה מבוססת גרדיאנט מדיניות ומודלי תגמול מגוונים. אין בכרטיס טבלאות ביצועים או ציונים מספריים, כך שקשה לדעת מה איכות הפלט בפועל מול מודלים מוכרים בגודל שמונה מיליארד פרמטרים.

מתאים ל

• מחקר ארכיטקטורות דיפיוז'ן

  הוא מספק בסיס קוד פתוח למי שרוצה לבדוק חלופות למודלי שפה אוטורגרסיביים ביצירת טקסט ותמונה.

• יצירת תמונות מהסברים

  הארכיטקטורה תומכת בשרשרת מחשבה מעורבת שמכוונת ישירות להפקת תמונה מתוך תהליך הסקה טקסטואלי.

• ניסויי RL עם UniGRPO

  הוא מתאים לבדיקת שיטות כוונון מתקדמות מבוססות תגמול שפותחו במיוחד עבור מודלי בסיס מסוג דיפיוז'ן.

איפה זה נופל

זהו מודל בסיס, מה שאומר שהוא לא עבר התאמה לשיחה מול משתמש קצה. הכרטיס לא מציג נתוני בדיקות, ציוני בנצ'מרק או השוואות ישירות למודלים אחרים. בנוסף, מודלי דיפיוז'ן להפקת טקסט מתנהגים אחרת לגמרי ממודלים רגילים, כך שזמני התגובה ואופי הפלט עשויים להיות שונים מאוד ממה שאתם מכירים, וחובה לבדוק התנהגות כזו ידנית.

איך מריצים

כדי להריץ אותו צריך לטעון משקלי bfloat16 שתופסים קצת יותר מ־15 גיגהבייט זיכרון בכרטיס המסך, עוד לפני שמחשבים את זיכרון העבודה שדרוש להסקה בפועל. מריצים אותו ישירות דרך ספריית transformers עם הקוד שהמפתחים פרסמו בגיטהאב.

אם אין לכם כרטיס מסך עם מספיק זיכרון להחזיק את כל המשקלים האלה בבת אחת, ההרצה המקומית תיכשל מיד. במצב כזה, עדיף לבדוק קודם את הדמו הציבורי שהם העלו בספייס של Hugging Face כדי לראות אם הארכיטקטורה בכלל עונה על הצרכים שלכם לפני שמשקיעים בהקמת שרת ייעודי.

from transformers import pipeline

pipe = pipeline("any-to-any", model="Gen-Verse/MMaDA-8B-Base")
print(pipe("שלום"))

הקבצים

12 קבצים במאגר, 15.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.3 GB
• tokenizer.json9.7 MB
• tokenizer_config.json51.7 KB
• model.safetensors.index.json24.9 KB
• config.json1.8 KB
• .gitattributes1.5 KB
• README.md1.4 KB
• special_tokens_map.json747 B
• generation_config.json121 B

הרישיון

הפרויקט מופץ תחת רישיון mit, וזה פותח כמעט כל דלת אפשרית. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לשלב אותו במוצר סגור ולהפיץ אותו הלאה, בלי לשלם תמלוגים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים וכתב הוויתור של הרישיון המקורי בתוך העותקים שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗