LLaDA2.0-Uni

מה זה

הפיתוח הזה מאחד משימות טקסט ותמונה למודל יחיד בעזרת מנגנון חיזוי מסיכה של מודלי דיפוזיה. במקום לצרף מודל שפה נפרד למנוע תמונות כמו סטייבל דיפיוז'ן, השלד כאן הוא תערובת מומחים של 16 מיליארד פרמטרים שמפעילה כמיליארד פרמטרים בלבד בכל טוקן בזמן ריצה. המערכת קוראת תמונות באמצעות טוקנייזר סמנטי בדיד של סיגליפ, ומייצרת פלטים ויזואליים דרך מפענח דיפוזיה ייעודי שעבר זיקוק לשמונה צעדים.

המודל תומך ביצירת תמונות מטקסט, כולל מצב חשיבה מוקדם, הבנת מסמכים ושאלות ותשובות על תמונות, עריכת תמונות לפי הנחיות וטקסט ותמונה שזורים. מנגנון האצה בשם ספרינט משלב שימוש חוזר במטמון והסרת מסיכות דינמית לפי רמת הביטחון של המודל כדי לקצר את זמני הריצה.

מתאים ל

• עריכת תמונות מהירה בפקודות

  מפענח שמונה הצעדים מאפשר לשנות תמונות לפי הוראות טקסט ישירות במודל אחד.

• ניתוח מסמכים באנגלית

  טוקנייזר סיגליפ הסמנטי מאפשר מענה על שאלות ופירוק תוכן חזותי מטפסים ותרשימים.

• יצירת תמונות עם נימוק מקדים

  תמיכה מובנית בשלב חשיבה לפני יצירת התמונה לשיפור הדיוק בהנחיות מורכבות.

איפה זה נופל

התמיכה שלו בטקסט ובתמונות שזורים היא ראשונית בלבד לפי היצרן, כך שלא כדאי לבנות עליה לתהליכים מורכבים. מנגנון ההאצה ספרינט נופל לחלוטין וחוזר למהירות הבסיס האיטית ברגע שמשתמשים בעריכת תמונה עם שתי הנחיות שונות, כי הוא לא תומך בסכמת ההנחיה המשולשת הזו. המודל מוגבל לשפה האנגלית בלבד, וחלון ההקשר עומד על 8,192 טוקנים, מה שמגביל ניתוח של מסמכים מרובי עמודים ברצף.

איך מריצים

כדי להריץ אותו צריך כרטיס מקצועי כבד. להבנת תמונה בלבד נדרשים כ־35 גיגה בייט זיכרון וידאו, וליצירה או עריכה תצטרכו כ־47 גיגה בייט בגלל מפענח הדיפוזיה שדורש עוד 12 גיגה בייט. כרטיס ביתי יחיד לא יספיק פה, ותצטרכו לפחות כרטיס A100 או H100 בנפח 80 גיגה בייט, או פיצול בין כרטיסים. המשקל הכולל להורדה עומד על 56.1 גיגה בייט בגרסת ברירת המחדל.

קיימת גרסת שמונה ביט בשם FP8 שחוסכת מקום בזיכרון, אבל היא עדיין דורשת סביבת קידוד תומכת פלאש אטנשן 2 ופייתורץ' עם קודה 12.4. תמיכה במנועי הגשה כמו אס ג'י לאנג עדיין בפיתוח, כך שכרגע ההרצה היא דרך הקוד המקורי. אם אין לכם גישה לשרת ייעודי מתאים, עדיף להמתין לחלופת ענן או שירות חיצוני מנוהל.

from transformers import pipeline

pipe = pipeline("any-to-any", model="inclusionAI/LLaDA2.0-Uni")
print(pipe("שלום"))

הקבצים

37 קבצים במאגר, 56.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• decoder-turbo/model.safetensors12.3 GB
• decoder/model.safetensors12.3 GB
• model-00005-of-00013.safetensors5.4 GB
• model-00004-of-00013.safetensors5.4 GB
• model-00002-of-00013.safetensors5.4 GB
• model-00003-of-00013.safetensors5.4 GB
• model-00001-of-00013.safetensors5.4 GB
• model-00006-of-00013.safetensors3.8 GB
• image_tokenizer/model.safetensors2.4 GB
• model-00008-of-00013.safetensors824.2 MB
• model-00013-of-00013.safetensors718.3 MB
• image_tokenizer/sigvq_embedding.pt402.7 MB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• model-00009-of-00013.safetensors124.8 MB
• model-00012-of-00013.safetensors85.0 MB
• model-00010-of-00013.safetensors85.0 MB
• model-00011-of-00013.safetensors79.7 MB
• model-00007-of-00013.safetensors64.0 MB
• tokenizer.json15.3 MB
• tokenizer_config.json3.0 MB
• model.safetensors.index.json1.3 MB
• assets/edit_example.png1.3 MB
• assets/architecture.png1.1 MB
• assets/performance.png801.7 KB
• modeling_llada2uni_moe.py113.9 KB
• assets/understanding_example.png88.7 KB
• assets/llada_logo.png43.5 KB
• README.md12.6 KB
• configuration_llada2uni_moe.py4.4 KB
• .gitattributes1.7 KB
• image_tokenizer/config.json1.5 KB
• config.json1.3 KB
• vae/config.json820 B
• special_tokens_map.json723 B
• decoder-turbo/config.json503 B
• decoder/config.json503 B
• image_tokenizer/preprocessor_config.json432 B

הרישיון

רישיון אפאצ'י 2.0 מתיר שימוש מסחרי חופשי, שינוי של הקוד והפצה של המודל בתוך מוצרים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והצהרת הרישיון המקורית בקבצים שאתם מפיצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗