Lumina-Image-2.0

מה זה

מדובר במודל שיוצר תמונות מתיאורי טקסט ונשען על ארכיטקטורת flow-based diffusion transformer. המפתחים שלו מציגים אותו כחלופה ממוקדת שמנסה לתת מענה שלם ויעיל ליצירת תמונות בלי להתנפח לממדי ענק של עשרות מיליארדי פרמטרים. הפרויקט הזה מבוסס ישירות על מאמר מחקרי רשמי שפורסם סביבו, והוא נבנה כך שיתממשק באופן טבעי עם ספריית diffusers המוכרת, מה שמקל מאוד על הבדיקה שלו בסביבות עבודה קיימות.

המשקל שלו עומד על 2.6 מיליארד פרמטרים, גודל ביניים שמנסה לאזן בין איכות ויזואלית לבין דרישות חישוב סבירות. המפרסמים לא שיתפו בכרטיס המודל תוצאות של מבחני ביצועים, מדדי איכות מספריים או השוואות ישירות מול מודלים מתחרים. המשמעות היא שאתם צריכים לבחון בעצמכם איך הוא מתמודד בפועל עם הבנת פרומפטים מורכבים והאם התוצאה הוויזואלית שלו עומדת ברף שאתם צריכים לפרויקט שלכם.

מתאים ל

• יצירת תמונות מפרומפטים

  מתאים למי שרוצה לייצר תמונות מטקסט בעזרת מודל diffusion transformer בנפח של 2.6B פרמטרים.

• אינטגרציה עם diffusers

  נוח לצוותים שכבר מחזיקים פייפליין מבוסס diffusers ורוצים לבדוק ארכיטקטורה חדשה בלי לשנות תשתית.

• מחקר וניסויי יצירה

  רלוונטי לחוקרים שרוצים לבחון את המימוש של המאמר המקורי על חומרה מקומית או בשרת עצמאי.

איפה זה נופל

כרטיס המודל לקוני מאוד ולא חושף מגבלות ידועות, כשלים בהבנת טקסט או בעיות של דיוק באנטומיה ופרטים קטנים. אין בו גם מידע על תמיכה בשפות שאינן אנגלית, ולכן הנחת העבודה היא שעברית לא תעבוד כאן ישירות בלי תרגום מוקדם. מעבר לזה, חוסר הפירוט על נתוני האימון מחייב אתכם לבדוק טוב הטיות וסינוני תוכן לפני שמחברים אותו למערכת פעילה מול משתמשים.

איך מריצים

כדי להריץ אותו אצלכם תצטרכו להוריד 29.5 גיגה-בייט של קבצים ולהשתמש בספריית diffusers של פייתון. נפח כזה דורש כרטיס מסך חזק עם זיכרון וידאו משמעותי, אחרת תיתקלו בצווארי בקבוק חמורים בטעינה וביצירת התמונות. אם אין לכם חומרה ייעודית כזו בענן או במחשב מקומי, שווה לבדוק את הדמו הרשמי של Gradio שהמפתחים העלו לשרת חיצוני, במקום להרים תשתית יקרה רק כדי לראות אם הוא מתאים לכם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Alpha-VLLM/Lumina-Image-2.0")
img = pipe("a photo").images[0]

הקבצים

22 קבצים במאגר, 29.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• consolidated.00-of-01.pth10.4 GB
• transformer/diffusion_pytorch_model-00001-of-00002.safetensors10.0 GB
• text_encoder/model-00001-of-00003.safetensors5.0 GB
• text_encoder/model-00002-of-00003.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00002-of-00002.safetensors482.0 MB
• text_encoder/model-00003-of-00003.safetensors481.4 MB
• vae/diffusion_pytorch_model.safetensors335.3 MB
• Demo.png22.6 MB
• tokenizer/tokenizer.json17.5 MB
• tokenizer/tokenizer.model4.2 MB
• tokenizer/tokenizer_config.json46.4 KB
• transformer/diffusion_pytorch_model.safetensors.index.json42.2 KB
• text_encoder/model.safetensors.index.json22.5 KB
• README.md2.4 KB
• model_args.pth2.0 KB
• .gitattributes1.6 KB
• text_encoder/config.json852 B
• vae/config.json825 B
• tokenizer/special_tokens_map.json636 B
• transformer/config.json513 B
• scheduler/scheduler_config.json419 B
• model_index.json411 B

הרישיון

הרישיון הוא apache-2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד ושילוב שלו במוצרים סגורים. התנאי העיקרי הוא שמירת הודעות זכויות היוצרים והרישיון המקורי בקבצים הרלוונטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗