HiDream-E1-Full

מה זה

המודל נשען על בסיס HiDream-I1 ומתמקד בעריכת תמונות מונחית הוראות. הוא משלב מפענחי טקסט כבדים כמו Llama-3.1-8B ו־T5-XXL לצד רכיבי VAE של FLUX.1 schnell, כדי להבין בקשות עריכה מורכבות ולבצע אותן בלי להרוס את שאר התמונה.

במדדי EmuEdit ו־ReasonEdit הוא עוקף מודלים כמו Gemini-2.0-Flash ו־OmniGen בציון הממוצע, במיוחד במשימות של שינוי סגנון, התאמת צבעים ושינוי טקסט בתוך תמונה. המשמעות היא שרמת הדיוק שלו בפעולות עריכה ממוקדות גבוהה מאוד לעומת המתחרים בקטגוריה, אם כי בהוספת אובייקטים חדשים ג'מיני עדיין מוביל עליו במספרים.

מתאים ל

• שינוי סגנון אומנותי

  הוא השיג ציון של 6.49 במדד EmuEdit Style, מה שהופך אותו למתאים להמרת תמונות קיימות לסגנונות איור וציור.

• תיקוני צבע ואווירה

  עם ציון 7.57 בקטגוריית הצבע, הוא מתמודד בהצלחה עם שינויי גוונים מדויקים של אלמנטים בלי לפגוע בפרטים.

• עריכת טקסט בתמונה

  התוצאות שלו ב־EmuEdit Text גבוהות מהמתחרים, ולכן הוא מתאים להחלפה או התאמה של כיתובים קיימים בתמונות באנגלית.

איפה זה נופל

המודל דורש פורמט קלט קשיח שכולל גם את הוראת העריכה וגם תיאור של תמונת היעד, מה שמאלץ שימוש בסקריפט חיצוני עם מפתח VLM או חיבור ל־OpenAI כדי להגיע לתוצאות טובות. הוא תומך באנגלית בלבד ואינו מכיר עברית. במבחני הוספת אובייקטים ושינוי רקע הוא מציג ביצועים נמוכים יותר לעומת חלופות קנייניות, ויש כבר גרסה מעודכנת בשם E1.1 שיצאה אחריו.

איך מריצים

כדי להריץ אותו צריך סביבת לינוקס עם CUDA 12.4, גרסה מעודכנת של ספריית diffusers והתקנה של Flash Attention. מדובר במפלצת של 17 מיליארד פרמטרים וקבצים במשקל של מעל 44 גיגה בייט, שמורידה בנוסף גם את לאמה 8B, כך שצריך כרטיס מסך חזק מאוד עם נפח זיכרון ייעודי גדול כדי שהתהליך ירוץ בלי לקרוס.

בנוסף, סקריפט ההרצה דורש גישה מאושרת לחשבון Hugging Face עבור Llama-3.1-8B-Instruct. אם אין לכם חומרה כבדה וזמינה בענן או מקומית, עדיף לפנות לממשקי API חיצוניים כמו vivago.ai או להריץ מודל VLM נפרד לחידוד הפרומפטים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("HiDream-ai/HiDream-E1-Full")
img = pipe("a photo").images[0]

הקבצים

37 קבצים במאגר, 44.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• text_encoder_3/model-00001-of-00002.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00003-of-00007.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00005-of-00007.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00006-of-00007.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00001-of-00007.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00002-of-00007.safetensors5.0 GB
• transformer/diffusion_pytorch_model-00004-of-00007.safetensors5.0 GB
• text_encoder_3/model-00002-of-00002.safetensors4.5 GB
• transformer/diffusion_pytorch_model-00007-of-00007.safetensors4.3 GB
• text_encoder_2/model.safetensors2.8 GB
• text_encoder/model.safetensors495.1 MB
• HiDream-E1-Full.safetensors260.1 MB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• tokenizer_3/tokenizer.json2.4 MB
• demo.jpg1.1 MB
• tokenizer/vocab.json1.1 MB
• tokenizer_2/vocab.json1.1 MB
• tokenizer_3/spiece.model791.7 KB
• tokenizer/merges.txt524.6 KB
• tokenizer_2/merges.txt524.6 KB
• transformer/diffusion_pytorch_model.safetensors.index.json181.7 KB
• tokenizer_3/tokenizer_config.json20.8 KB
• text_encoder_3/model.safetensors.index.json19.9 KB
• README.md6.9 KB
• tokenizer_3/special_tokens_map.json2.5 KB
• .gitattributes1.6 KB
• transformer/config.json875 B
• model_index.json845 B
• vae/config.json820 B
• scheduler/scheduler_config.json750 B
• text_encoder_3/config.json741 B
• tokenizer/tokenizer_config.json737 B
• tokenizer_2/tokenizer_config.json725 B
• text_encoder/config.json580 B
• text_encoder_2/config.json576 B
• tokenizer/special_tokens_map.json472 B
• tokenizer_2/special_tokens_map.json460 B

הרישיון

החלקים המרכזיים של הטרנספורמר משוחררים תחת רישיון MIT שמאפשר שימוש מסחרי, אבל המערכת תלויה ישירות ברכיבים חיצוניים ברישיונות אחרים. ה־VAE מגיע תחת Apache 2.0, ומפענח הטקסט כפוף לרישיון הקהילתי של Llama 3.1. מותר להשתמש בתוצרים באופן חופשי, אך יש לוודא עמידה במגבלות השימוש של מטא ואיסור על הפקת תוכן לא חוקי או פוגעני.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗