ERNIE-Image-Turbo

מה זה

מדובר במודל Diffusion Transformer מסוג single stream בגודל 8 מיליארד פרמטרים, שעבר זיקוק באמצעות שיטות DMD ולמידת חיזוק. בעוד גרסת הבסיס דורשת 50 צעדים, גרסת הטורבו מתוכננת לחתוך את זמני הריצה תוך שמירה על דיוק גבוה בפרטים, הבנת הוראות מורכבות ורינדור מדויק של פריסות מובנות כמו קומיקסים ולוחות סיפור.

היתרון המרכזי כאן הוא שילוב של טקסט בתוך תמונה. במבחני LongTextBench המודל מציג ציון 0.9675 באנגלית ו־0.9636 בסינית, מה שמעיד על דיוק גבוה באיות ועימוד גרפי מורכב לעומת מתחרים בקטגוריה. הוא אמנם מקריב מעט מגוון ודיוק בהבנת יחסים מורכבים ביחס לגרסה המלאה, אך שומר על ציון כולל תחרותי מאוד של 0.8667 במדד GENEval.

מתאים ל

• פוסטרים ושלטי פרסום

  מרנדר טקסט מדויק בפריסות גרפיות צפופות עם מעט מאוד עיוותי איות.

• לוחות סטוריבורד וקומיקס

  מייצר פריסות מרובות פאנלים ומבנים קומפוזיציוניים מסודרים במהירות גבוהה.

• מערכות יצירה בזמן אמת

  מספק תמונות ב־8 צעדי הסקה בלבד, מה שמקצר משמעותית את זמן ההמתנה של המשתמש.

איפה זה נופל

הקיצור ל־8 צעדים גובה מחיר ברור, והמדדים מראים ירידה משמעותית בגיוון התוצאות, עם ציון של 0.1232 בלבד ב־Diversity במבחן OneIG-EN לעומת 0.2411 בגרסת הבסיס. היכולת להסיק מסקנות ויזואליות נשארת נמוכה יחסית, עם ציוני Reasoning סביב 0.29 עד 0.35, ובמבחן GENEval ציון הספירה יורד לאזור 0.79. בנוסף, המבחנים מתמקדים באנגלית ובסינית בלבד, כך שאין תיעוד ליכולת רינדור טקסט בעברית ויש לבדוק זאת ידנית.

איך מריצים

כדי להריץ אותו עצמאית נדרש כרטיס מסך עם לפחות 24GB זיכרון וידאו, מה שמאפשר שימוש בכרטיסים שולחניים חזקים יחסית. הריצה נתמכת בספריית diffusers העדכנית וכן ב־SGLang למי שרוצה להרים שרת הסקה ייעודי. הפרמטרים המומלצים הם Guidance scale קבוע של 1.0 ו־8 צעדים בלבד, ברזולוציות מוגדרות סביב מגה פיקסל אחד.

אם אין לכם כרטיס עם 24GB VRAM או שאתם לא רוצים להתעסק עם הורדה של כ־29.5GB של משקלים, אין טעם להילחם בחומרה מקומית. במקרה כזה עדיף לצרוך את המודל דרך ספקי ענן או ממשקי הדגמה ייעודיים ברשת במקום להחזיק תשתית פעילה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("baidu/ERNIE-Image-Turbo")
img = pipe("a photo").images[0]

הקבצים

24 קבצים במאגר, 29.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model-00001-of-00002.safetensors10.0 GB
• text_encoder/model.safetensors7.7 GB
• pe/model.safetensors7.7 GB
• transformer/diffusion_pytorch_model-00002-of-00002.safetensors6.1 GB
• vae/diffusion_pytorch_model.safetensors168.1 MB
• tokenizer/tokenizer.json17.1 MB
• pe/tokenizer.json17.1 MB
• pe_tokenizer/tokenizer.json17.1 MB
• transformer/diffusion_pytorch_model.safetensors.index.json38.9 KB
• pe/tokenizer_config.json21.1 KB
• pe_tokenizer/tokenizer_config.json21.1 KB
• LICENSE11.4 KB
• README.md11.2 KB
• .gitattributes1.9 KB
• text_encoder/config.json1.7 KB
• pe/config.json901 B
• vae/config.json836 B
• pe/chat_template.jinja615 B
• pe_tokenizer/chat_template.jinja615 B
• model_index.json547 B
• scheduler/scheduler_config.json482 B
• transformer/config.json422 B
• tokenizer/tokenizer_config.json379 B
• pe/generation_config.json153 B

הרישיון

המודל משוחרר תחת רישיון Apache 2.0 המוכר. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים ולהפיץ אותם בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗