FireRed-Image-Edit-1.1

מה זה

הפרויקט הזה מיועד למשימות image-to-image מורכבות, החל מאיפור ורסטורציה של תמונות ישנות ועד החלפת בגדים ושילוב של מעל עשרה אלמנטים בתמונה בודדת. הדגש העיקרי בגרסה 1.1 הוא שמירה על זהות הדמות המקורית, עניין שרוב מודלי הקוד הפתוח מתקשים בו מאוד ברגע שמבקשים לשנות בגדים, תאורה או רקע. הוא כולל תמיכה מובנית בטיפוגרפיה, התאמת סגנונות טקסט ואינטגרציה לזרימות עבודה מבוססות סוכנים שיודעים לחתוך ולהדביק עצמאית.

במבחני ביצועים מול בנצ'מרקים ייעודיים לעריכה כמו Imgedit, Gedit ו־RedEdit, המפתחים טוענים להובלה בקטגוריית הקוד הפתוח ואף לעקיפה של מודלים סגורים בממדים מסוימים. בפועל, המשמעות של תוצאות כאלה היא דיוק גבוה יותר בהבנת הוראות העריכה בלי לפגוע בחלקים בתמונה שלא ביקשתם לגעת בהם.

מתאים ל

• עריכת פורטרטים ומודעות

  הוא שומר על תווי הפנים המקוריים גם כשמוסיפים איפור, משנים תסרוקות או מחליפים בגדים לחלוטין.

• שחזור תמונות ישנות

  האלגוריתם מנקה פגמים ומחדד פרטים בלי לייצר מראה פלסטיקי שמחרב את האופי של התמונה.

• קומפוזיציה מרובת עצמים

  הוא מסוגל לחבר מעל עשרה אלמנטים מתמונות שונות לתוך פריים אחיד אחד בלי עבודת פוטושופ ידנית.

איפה זה נופל

למרות שמדובר במודל עריכה כללי, התמיכה בשפות מוגבלת לאנגלית ולסינית בלבד. אם תזינו הנחיות בעברית, קרוב לוודאי שתקבלו תוצאות עקומות או התעלמות מוחלטת מהבקשה. מעבר לזה, המודל דורש אופטימיזציות כבדות של קוונטיזציה כדי לרדת ל־30GB VRAM, מה שאומר שהרצה ללא שרשרת ההאצה המלאה תדרוש משאבים כבדים בהרבה ותהיה אטית להחריד בהפקה שוטפת.

איך מריצים

המשקל המלא של הקבצים מגיע ל־53.8 גיגה בייט עם כעשרים מיליארד פרמטרים, כך שעל כרטיס ביתי ממוצע אי אפשר להריץ אותו בצורה ישירה. כדי לקבל יצירה תוך 4.5 שניות תצטרכו לפחות 30GB של זיכרון וידאו, וזה עוד אחרי זיקוק, קוונטיזציה והידור סטטי. המודל מתממשק דרך ספריית diffusers, תומך בפורמט GGUF ומציע צמתים רשמיים ל־ComfyUI.

אם אין לכם שרת ייעודי עם חומרה חזקה, עדיף בהחלט לפנות ל־API חיצוני או לבדוק את הדמו הקיים ב־Hugging Face וב־ModelScope. הרמה של שרת פרטי עם כרטיס מקצועי בשביל כמה עריכות בודדות תעלה לכם יותר מדי ביחס לתמורה.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("FireRedTeam/FireRed-Image-Edit-1.1")
img = pipe("a photo").images[0]

הקבצים

35 קבצים במאגר, 53.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model-00002-of-00005.safetensors10.0 GB
• transformer/diffusion_pytorch_model-00003-of-00005.safetensors10.0 GB
• transformer/diffusion_pytorch_model-00001-of-00005.safetensors10.0 GB
• transformer/diffusion_pytorch_model-00004-of-00005.safetensors9.9 GB
• text_encoder/model-00002-of-00004.safetensors5.0 GB
• text_encoder/model-00001-of-00004.safetensors5.0 GB
• text_encoder/model-00003-of-00004.safetensors4.9 GB
• text_encoder/model-00004-of-00004.safetensors1.7 GB
• transformer/diffusion_pytorch_model-00005-of-00005.safetensors982.1 MB
• vae/diffusion_pytorch_model.safetensors253.8 MB
• processor/tokenizer.json11.4 MB
• tokenizer/vocab.json3.4 MB
• processor/vocab.json2.8 MB
• processor/merges.txt1.7 MB
• tokenizer/merges.txt1.7 MB
• transformer/diffusion_pytorch_model.safetensors.index.json198.9 KB
• text_encoder/model.safetensors.index.json57.7 KB
• README.md6.9 KB
• processor/tokenizer_config.json4.7 KB
• tokenizer/tokenizer_config.json4.7 KB
• text_encoder/config.json3.1 KB
• tokenizer/chat_template.jinja2.4 KB
• .gitattributes1.6 KB
• processor/chat_template.jinja1.0 KB
• processor/video_preprocessor_config.json952 B
• processor/preprocessor_config.json826 B
• vae/config.json730 B
• processor/special_tokens_map.json613 B
• tokenizer/special_tokens_map.json613 B
• processor/added_tokens.json605 B
• tokenizer/added_tokens.json605 B
• model_index.json516 B
• scheduler/scheduler_config.json485 B
• transformer/config.json339 B
• text_encoder/generation_config.json244 B

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר להשתמש בו במוצרים מסחריים, לשנות את הקוד ולהפיץ אותו חופשי, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן הגבלות שימוש מעורפלות או דרישה לחלוק קוד קנייני שפיתחתם סביבו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗