LongCat-Image-Edit-Turbo

מה זה

מדובר במודל image-to-image מזוקק ממשפחת LongCat שמיועד לביצוע עריכות נקודתיות על תמונות קיימות לפי הנחיית טקסט. בשונה מגרסת הבסיס שדורשת עשרות צעדי דיפוזיה, גרסת הטורבו מתוכננת לרוץ בשמונה צעדים בלבד, מה שמקצר משמעותית את זמן ההמתנה בין פקודה לתוצאה ומאפשר עיבוד מהיר בהרבה על אותה חומרה.

המודל כולל מנגנון ייעודי לרינדור טקסט בתוך תמונות באנגלית ובסינית, שמבוסס על קידוד לפי תווים בודדים. כדי שהמנגנון הזה יעבוד כמו שצריך, חייבים להקפיד לעטוף כל מילה או משפט שרוצים להציג במירכאות בתוך הפרומפט, אחרת הטקסט בתמונה יתחרבש. זה פתרון מעשי למשימות עריכה שכוללות שלטים, תוויות או כיתובים ישירים על גבי האובייקטים.

מתאים ל

• עריכת תמונות מהירה

  שינוי אובייקטים וסגנונות בתמונה קיימת בתוך שמונה צעדי חישוב בלבד.

• הוספת כיתובים מדויקים

  הטמעת טקסט ברור באנגלית או בסינית באמצעות מנגנון התווים הייעודי.

• פייפליין עיבוד מקומי

  שילוב במערכות אוטומטיות שרצות על שרתים פנימיים ללא תלות בספקים חיצוניים.

איפה זה נופל

אם תשכחו לשים מירכאות מסביב לטקסט שאתם מבקשים להוסיף, המודל פשוט ייכשל ברינדור האותיות. בנוסף, זיקוק לשמונה צעדים תמיד גובה מחיר באיכות הפרטים הקטנים או ביכולת להבין הנחיות מורכבות ומפותלות לעומת גרסת הבסיס. המודל תומך רשמית רק באנגלית ובסינית, כך שפרומפטים בעברית או ניסיון לכתוב עברית לתוך התמונה לא נתמכים.

איך מריצים

המשקל הכולל מגיע ליותר מ־27 גיגה־בייט, כך שצריך כרטיס מסך חזק כדי לעבוד איתו. לפי התיעוד, שימוש במנגנון פריקה לזיכרון הראשי דורש לפחות 18 גיגה־בייט בזיכרון הגרפי רק כדי לא לקרוס, וזה כמובן יאט את העבודה. אם יש לכם מאיץ מקצועי עם שפע זיכרון תוכלו לטעון אותו ישירות ולנצל את שמונת הצעדים למהירות מקסימלית.

ההרצה מתבצעת דרך diffusers ישירות מהמאגר של גיטהאב. אם אין לכם חומרה ייעודית בענן או כרטיס מקומי עם 24 גיגה זיכרון לפחות, עדיף להמתין שמישהו יספק לו ממשק API מסודר במקום להסתבך עם שרתים כבדים.

from transformers import pipeline

pipe = pipeline("image-to-image", model="meituan-longcat/LongCat-Image-Edit-Turbo")
print(pipe("שלום"))

הקבצים

37 קבצים במאגר, 27.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors12.5 GB
• text_encoder/model-00001-of-00005.safetensors3.9 GB
• text_encoder/model-00004-of-00005.safetensors3.9 GB
• text_encoder/model-00003-of-00005.safetensors3.9 GB
• text_encoder/model-00002-of-00005.safetensors3.9 GB
• text_encoder/model-00005-of-00005.safetensors1.1 GB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• text_processor/tokenizer.json7.0 MB
• tokenizer/tokenizer.json7.0 MB
• assets/image_edit_gallery.jpg4.0 MB
• text_processor/vocab.json2.8 MB
• tokenizer/vocab.json2.8 MB
• text_processor/merges.txt1.7 MB
• tokenizer/merges.txt1.7 MB
• assets/test.png995.6 KB
• assets/model_struct_edit.png923.8 KB
• text_encoder/model.safetensors.index.json57.6 KB
• text_processor/tokenizer_config.json7.2 KB
• tokenizer/tokenizer_config.json7.2 KB
• README.md3.6 KB
• assets/longcat-image_logo.svg3.4 KB
• .gitattributes1.7 KB
• text_encoder/config.json1.4 KB
• text_processor/config.json1.4 KB
• tokenizer/config.json1.4 KB
• text_processor/chat_template.json1.1 KB
• tokenizer/chat_template.json1.1 KB
• vae/config.json820 B
• text_processor/special_tokens_map.json613 B
• model_index.json508 B
• text_encoder/preprocessor_config.json351 B
• text_processor/preprocessor_config.json351 B
• tokenizer/preprocessor_config.json351 B
• transformer/config.json326 B
• scheduler/scheduler_config.json274 B
• text_encoder/generation_config.json244 B
• config.json48 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י 2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הקוד והמשקלים והפצה מחדש במוצרים סגורים. התנאי העיקרי הוא שמירה על הודעות זכויות היוצרים והצהרת שינויים אם ערכתם את הקבצים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗