LLaDA-1.5

מה זה

במקום לנחש את המילה הבאה כמו רוב המודלים שאתם מכירים, המודל הזה מתבסס על דיפוזיה. הוא מתחיל ממצב רועש ומנקה אותו בהדרגה עד שמתקבל פלט שלם, בדומה למודלים שמייצרים תמונות. הגרסה הזו נשענת על שיטת אימון שהם מכנים אופטימיזציית העדפות עם שונות מופחתת, והיא מיועדת לפתור משימות טקסט כלליות.

המפתחים מציינים שהוא מציג שיפור לעומת הגרסה הקודמת במתמטיקה, כתיבת קוד ומשימות התאמה להנחיות. אין בדף המודל ציונים מספריים מדויקים או השוואה מפורטת למודלים מקבילים של חברות אחרות, כך שקשה לדעת בדיוק איפה הוא עומד מול המתחרים השכיחים בלי לבדוק את המאמר עצמו.

מתאים ל

• מחקר על דיפוזיה בטקסט

  בדיקת חלופות לארכיטקטורה אוטו-רגרסיבית על גודל פרקטי של 8B.

• פתרון בעיות קוד וחישוב

  המפתחים מצביעים על שיפור ספציפי במשימות תכנות ומתמטיקה.

• ניסויי עריכה ומילוי טקסט

  מנגנון הדיפוזיה מתאים מטבעו למילוי חסרים ושינוי חלקים בטקסט קיים.

איפה זה נופל

החיסרון המרכזי כאן הוא מהירות וכבדות ההסקה. מודלי דיפוזיה לטקסט דורשים כמה מעברים כדי לנקות את הרעש וליצור פלט, מה שהופך את זמן התגובה לאיטי משמעותית ביחס לטרנספורמרים רגילים. בנוסף, אין בכרטיס המודל שום מידע על תמיכה בשפות שאינן אנגלית, אין פירוט על איכות הפלט בעברית, ולא מוצגים נתוני בטיחות או רשימת חולשות מוכרות.

איך מריצים

כדי להריץ אותו צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון כדי לטעון 15 גיגה של משקלים בפורמט bfloat16. הקוד נטען דרך ספריית transformers הרגילה, אבל חובה להפעיל את הדגל שמאפשר הרצת קוד מרוחק כי מדובר בארכיטקטורה מותאמת אישית.

ההסקה לא מתבצעת עם פונקציית הייצור הרגילה של המודלים המוכרים, אלא דורשת שימוש בסקריפט ייעודי שמנהל את צעדי הדיפוזיה. מי שמחפש פתרון מהיר וזול לייצור שוטף כנראה יעדיף מודלים סטנדרטיים עם שרתי הסקה אופטימליים.

from transformers import pipeline

pipe = pipeline("text-generation", model="GSAI-ML/LLaDA-1.5")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 14.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00006.safetensors3.0 GB
• model-00001-of-00006.safetensors3.0 GB
• model-00005-of-00006.safetensors3.0 GB
• model-00003-of-00006.safetensors3.0 GB
• model-00004-of-00006.safetensors2.9 GB
• model-00006-of-00006.safetensors1.2 GB
• tokenizer.json6.1 MB
• modeling_llada.py61.4 KB
• tokenizer_config.json51.7 KB
• model.safetensors.index.json24.9 KB
• configuration_llada.py12.0 KB
• README.md2.0 KB
• config.json1.4 KB
• special_tokens_map.json747 B
• generation_config.json128 B
• .gitattributes50 B

הרישיון

הרישיון הוא MIT, שזה הרישיון הפתוח והמתירני ביותר שקיים כמעט. אתם יכולים לקחת את המשקלים, לשנות אותם, לשלב אותם בתוך מוצר מסחרי סגור או להריץ אותם בענן שלכם בלי לשלם תמלוגים ובלי חובה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗