LongCat-Image

מה זה

מדובר במודל טקסט לתמונה דו לשוני באנגלית ובסינית, שמכוון לפתור בעיה מוכרת של שילוב אותיות ומילים בתוך תמונה. הוא מגיע במשקל קבצים כולל של 27.3 גיגה בייט, עם דגש על פוטוריאליזם ויעילות בהרצה. לפי הדיווח, הוא עוקף במבחנים מודלים פתוחים כבדים ממנו בהרבה, בזכות ארכיטקטורה יעילה ואימון ייעודי.

הייחוד המרכזי שלו נמצא ברינדור טקסט, בעיקר בסינית שבה הוא מכסה מילון רחב מאוד, אבל גם באנגלית. המודל מתבסס על מנגנון קידוד ברמת התו שמופעל ברגע שמגדירים לו טקסט בתוך מרכאות, מה שמאפשר לו לצייר שלטים, תוויות או כותרות בדיוק גבוה במקום לייצר אותיות מרוחות ומעוותות.

מתאים ל

• עיצוב שלטים ואריזות בסינית

  הוא נבנה במיוחד לרינדור תווים סיניים במדויק, תחום שבו רוב המודלים המערביים נכשלים לחלוטין.

• תמונות מוצר עם כיתוב באנגלית

  מנגנון קידוד התווים במרכאות מאפשר לשלב טקסט קריא וברור על מוצרים וכרזות בלי עיוותים.

• הפקה מקומית של תמונות ריאליסטיות

  בזכות גודל של 6B פרמטרים, הוא מספק תוצאות פוטוריאליסטיות ביעילות גבוהה ממודלים כבדים יותר.

איפה זה נופל

הנקודה הקריטית ביותר היא הטיפול בטקסט. אם לא עוטפים את הטקסט המבוקש במרכאות בודדות או כפולות בתוך הפרומפט, מנגנון קידוד התווים הייעודי פשוט לא מופעל, והיכולת לרנדר מילים קורסת לגמרי. בנוסף, המודל אומן ותומך רק באנגלית ובסינית. אין פה שום תמיכה בעברית, ולנסות לבקש ממנו אותיות בעברית יוביל כמעט בוודאות לג'יבריש.

איך מריצים

כדי להריץ אותו צריך להתקין את diffusers ישר ממאגר הגיטהאב של Hugging Face. עם משקל של מעל 27 גיגה בייט בפורמט המקורי, תצטרכו כרטיס מסך חזק עם מספיק זיכרון וידאו ייעודי, או לחפש גרסאות מכווצות שמישהו ימיר בהמשך.

היוצרים מציינים שאפשר לשפר את איכות התוצאות משמעותית אם מעבירים את הפרומפט דרך מודל שפה גדול חיצוני לפני השליחה למודל התמונה. אם אין לכם שרת עם GPU מתאים שפועל באופן קבוע, כנראה יהיה זול ופשוט יותר לפנות לשירותי ענן או API חיצוניים שמארחים אותו במקום לנהל את התשתית הזו בעצמכם.

from transformers import pipeline

pipe = pipeline("text-to-image", model="meituan-longcat/LongCat-Image")
print(pipe("שלום"))

הקבצים

36 קבצים במאגר, 27.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors12.5 GB
• text_encoder/model-00001-of-00005.safetensors3.9 GB
• text_encoder/model-00004-of-00005.safetensors3.9 GB
• text_encoder/model-00003-of-00005.safetensors3.9 GB
• text_encoder/model-00002-of-00005.safetensors3.9 GB
• text_encoder/model-00005-of-00005.safetensors1.1 GB
• vae/diffusion_pytorch_model.safetensors167.7 MB
• text_processor/tokenizer.json7.0 MB
• tokenizer/tokenizer.json7.0 MB
• assets/gallery.jpeg6.6 MB
• assets/model_struct.jpg3.6 MB
• text_processor/vocab.json2.8 MB
• tokenizer/vocab.json2.8 MB
• text_processor/merges.txt1.7 MB
• tokenizer/merges.txt1.7 MB
• assets/model_struct.svg906.0 KB
• text_encoder/model.safetensors.index.json57.6 KB
• text_processor/tokenizer_config.json7.2 KB
• tokenizer/tokenizer_config.json7.2 KB
• README.md5.3 KB
• assets/longcat-image_logo.svg3.4 KB
• .gitattributes1.7 KB
• text_encoder/config.json1.4 KB
• text_processor/config.json1.4 KB
• tokenizer/config.json1.4 KB
• text_processor/chat_template.json1.1 KB
• tokenizer/chat_template.json1.1 KB
• vae/config.json820 B
• text_processor/special_tokens_map.json613 B
• model_index.json504 B
• transformer/config.json356 B
• text_processor/preprocessor_config.json351 B
• tokenizer/preprocessor_config.json351 B
• scheduler/scheduler_config.json273 B
• text_encoder/generation_config.json244 B
• config.json37 B

הרישיון

המודל שוחרר תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והפצה מחדש בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗