LongCat-Image-Edit

מה זה

המודל פותח על ידי meituan-longcat לטיפול במשימות עריכה של תמונה לתמונה. הוא מקבל תמונה והוראה טקסטואלית, ומסוגל לבצע שינויים ממוקדים באזורים ספציפיים, עריכות כלליות על כל התמונה, שינויים מונחי תמונת רפרנס והחלפה או הוספה של טקסט חזותי. הדגש העיקרי כאן הוא עקביות חזותית, כלומר שמירה על התאורה, המרקם, הקומפוזיציה והזהות של אובייקטים שלא אמורים להשתנות, תכונה קריטית במיוחד כשמבצעים כמה סבבי עריכה רצופים על אותה תמונה.

הוא שונה מחלק ממודלי העריכה הפתוחים בכך שהוא כולל מנגנון ייעודי לעיבוד אותיות ברמת התו. התכנון הזה מיועד למנוע את הבעיה הנפוצה שבה טקסט בתוך תמונה יוצא מרוח או חסר משמעות, כל עוד מגדירים לו נכון את הטקסט בפרומפט.

מתאים ל

• עריכת תמונות מונחית טקסט

  שינוי פרטים נקודתיים בתמונה קיימת לפי פקודה מדויקת, בלי לפגוע ברקע או בתאורה.

• החלפת כיתובים על גבי תמונה

  עדכון טקסטים באנגלית או בסינית באמצעות מנגנון קידוד ברמת התו שמבטיח רינדור קריא.

• סבבי עריכה מתמשכים

  ביצוע מספר תיקונים עוקבים על אותו קובץ תוך שמירה על זהות האובייקטים המקוריים.

איפה זה נופל

המודל מוגבל רשמית לשפות אנגלית וסינית בלבד, כך שפקודות בעברית או ניסיונות לשלב טקסט עברי בתוך התמונה צפויים להיכשל. מעבר לכך, יש דרישה קשיחה לחלוטין לרישום פרומפטים: כל טקסט שרוצים שיופיע בתמונה חייב להיות עטוף במירכאות בודדות או כפולות. אם תשכחו את המירכאות, המודל לא יפעיל את מנגנון הקידוד המיוחד שלו והרינדור ייפגע בצורה קשה.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־27.3 גיגה בייט בפורמט bfloat16. כדי להריץ אותו ישירות על מעבד גרפי אחד תצטרכו כרטיס חזק עם זיכרון גבוה. המפתחים מספקים אפשרות ל־CPU offload שמורידה את דרישת הזיכרון הגרפי לאזור ה־18 גיגה בייט כדי למנוע קריסות של חוסר זיכרון, אך שיטה זו מאטה את קצב ההסקה באופן מורגש.

ההרצה מתבצעת דרך ספריית diffusers ישירות מהקוד של גיטהאב. אם אין לכם גישה לשרת עם כרטיס של 24 גיגה בייט זיכרון גרפי לפחות, או שאתם צריכים זמני תגובה מהירים למשתמשי קצה, הרצה מקומית תהיה יקרה וכבדה מדי ותדרוש פתרון ענן ייעודי.

from transformers import pipeline

pipe = pipeline("image-to-image", model="meituan-longcat/LongCat-Image-Edit")
print(pipe("שלום"))

הקבצים

37 קבצים במאגר, 27.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors12.5 GB
• text_encoder/model-00001-of-00005.safetensors3.9 GB
• text_encoder/model-00004-of-00005.safetensors3.9 GB
• text_encoder/model-00003-of-00005.safetensors3.9 GB
• text_encoder/model-00002-of-00005.safetensors3.9 GB
• text_encoder/model-00005-of-00005.safetensors1.1 GB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• text_processor/tokenizer.json7.0 MB
• tokenizer/tokenizer.json7.0 MB
• assets/image_edit_gallery.jpg4.0 MB
• text_processor/vocab.json2.8 MB
• tokenizer/vocab.json2.8 MB
• text_processor/merges.txt1.7 MB
• tokenizer/merges.txt1.7 MB
• assets/test.png995.6 KB
• assets/model_struct_edit.png923.8 KB
• text_encoder/model.safetensors.index.json57.6 KB
• text_processor/tokenizer_config.json7.2 KB
• tokenizer/tokenizer_config.json7.2 KB
• README.md4.6 KB
• assets/longcat-image_logo.svg3.4 KB
• .gitattributes1.8 KB
• text_encoder/config.json1.4 KB
• text_processor/config.json1.4 KB
• tokenizer/config.json1.4 KB
• text_processor/chat_template.json1.1 KB
• tokenizer/chat_template.json1.1 KB
• vae/config.json820 B
• text_processor/special_tokens_map.json613 B
• model_index.json509 B
• transformer/config.json356 B
• text_encoder/preprocessor_config.json351 B
• text_processor/preprocessor_config.json351 B
• tokenizer/preprocessor_config.json351 B
• scheduler/scheduler_config.json273 B
• text_encoder/generation_config.json244 B
• config.json42 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי של הקוד והפצה חופשית, כולל שילוב במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והצהרת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗