LLaDA-8B-Instruct

מה זה

הצוות של GSAI-ML בנה כאן מודל דיפיוז'ן שלם מאפס, דבר נדיר מאוד בקנה מידה של שמונה מיליארד פרמטרים. רוב מודלי השפה שאתם מכירים מייצרים מילה אחרי מילה לפי הסדר, אבל המודל הזה מתייחס לטקסט כמו שמודלי תמונה מתייחסים לרעש, ומנקה אותו בהדרגה עד שמתקבל משפט הגיוני. היוצרים טוענים שהוא מגיע לרמת הביצועים של LLaMA3 8B במשימות הנחיה, וזה הישג מעניין לטכנולוגיה הזו.

הגרסה הזו היא גרסת ה־Instruct, כלומר היא עברה כוונון מיוחד כדי להבין הוראות ישירות ולענות עליהן ולא סתם להשלים טקסט. מכיוון שמדובר בארכיטקטורת LLaDAModelLM חדשה שנשענת על ספריית transformers, היא מתאימה בעיקר למי שרוצה לבדוק התנהגות של מודלי שפה לא רגרסיביים בפועל.

מתאים ל

• מחקר על דיפיוז'ן בטקסט

  הוא מודל נדיר בגודל 8B שמאפשר לבדוק יצירת טקסט ללא מנגנון אוטורגרסיבי רגיל.

• ניסויי עריכת טקסט מקבילית

  ארכיטקטורת דיפיוז'ן מאפשרת לעדכן חלקים שונים של המשפט במקביל ולא רק בסוף.

• החלפה פתוחה ללאמה 3

  רישיון MIT המלא משחרר אתכם ממגבלות השימוש המסחרי של מטא.

איפה זה נופל

כרטיס המודל כמעט ולא חושף נתונים טכניים מעבר להצהרה הכללית על תחרות בלאמה 3, ואין בו שום פירוט על צריכת משאבים, מהירות ייצור הטקסט או בנצ'מרקים מסודרים. מודלי דיפיוז'ן נוטים לדרוש הרבה יותר צעדי חישוב לכל יצירת תשובה לעומת מודלים אוטורגרסיביים רגילים, מה שעלול לייקר משמעותית את זמן הריצה. בנוסף, חוסר המידע על שפות נוספות אומר שאין שום הבטחה לגבי תמיכה סבירה בעברית.

אותה משפחה

LLaDA יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על כמעט חמישה עשר גיגה בייט, כך שתצטרכו כרטיס מסך עם לפחות שישה עשר גיגה זיכרון כדי לטעון אותו, או עשרים וארבעה גיגה אם אתם מתכננים לעבוד איתו בצורה חלקה בלי קוונטיזציה. הקוד דורש את ספריית transformers ומשתמש בקובץ מימוש ייעודי של המפתחים, שעודכן לאחרונה כדי לתמוך ב־attention_mask.

אם אין לכם חומרה כזו מקומית, עדיף להרים שרת ייעודי בענן עם כרטיס תואם לכמה שעות ניסוי. מודלי דיפיוז'ן לטקסט דורשים חישוב שונה בהשוואה למודלים רגילים, כך שזמני ההסקה עשויים להיות איטיים יותר מתשובה רגילה של מודל שפה סטנדרטי.

from transformers import pipeline

pipe = pipeline("text-generation", model="GSAI-ML/LLaDA-8B-Instruct")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 14.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00006.safetensors3.0 GB
• model-00004-of-00006.safetensors3.0 GB
• model-00002-of-00006.safetensors2.9 GB
• model-00005-of-00006.safetensors2.9 GB
• model-00006-of-00006.safetensors2.1 GB
• model-00001-of-00006.safetensors2.1 GB
• tokenizer.json6.1 MB
• modeling_llada.py61.4 KB
• tokenizer_config.json51.7 KB
• model.safetensors.index.json24.9 KB
• configuration_llada.py12.0 KB
• .gitattributes1.5 KB
• config.json1.4 KB
• special_tokens_map.json747 B
• README.md431 B
• generation_config.json128 B

הרישיון

הפרויקט משוחרר תחת רישיון MIT, שזה הרישיון הכי פתוח ונוח שיש כרגע. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לשלב אותו בתוך מוצר סגור ולהפיץ אותו חופשי. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והפטור מאחריות של היוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗