JoyAI-Image-Edit

מה זה

מדובר במודל מולטימודלי של jdopensource שמתמקד בעריכת תמונות מונחית הוראות, לצד יכולת יצירת תמונה מטקסט. הדגש כאן הוא הבנה מרחבית, פירוק ההוראה לחלקים וקישור ישיר בין הטקסט לאזורים מוגדרים בתמונה. הוא יודע לשנות צבעים ותכונות של פריטים, אבל הייחוד האמיתי שלו מול מודלים אחרים מגיע בשלוש משימות גיאומטריות מוגדרות: הזזת אובייקטים למיקום שמסומן בתיבה אדומה, סיבוב אובייקט ספציפי לזוויות קבועות, ושינוי נקודת המבט של המצלמה כולה לפי מעלות.

השליטה במצלמה כוללת פרמטרים מפורשים של זווית אופקית, זווית אנכית ורמת תקריב, תוך שמירה על העצמים המקוריים ללא שינוי. המודל מחזיק משקל משמעותי של 47.1 גיגה בייט המחולקים לעשרים וארבעה קבצים, מה שמעיד על ארכיטקטורה כבדה שמכילה רכיבי ראייה ויצירה משולבים. התמיכה הרשמית היא בשפות אנגלית וסינית, ואין בו תמיכה ישירה בעברית.

מתאים ל

• הזזת פריטים מונחית תיבה

  העברת חפץ מוגדר בתמונה אל אזור שמסומן בתיבה אדומה והעלמת הסימון בתוצאה הסופית.

• שינוי זווית צילום בסצנה

  סיבוב נקודת המבט לפי ערכי Yaw ו־Pitch מוגדרים תוך שמירה על העצמים המקוריים.

• סיבוב מוצרים לתצוגה

  שינוי כיוון של רהיט או רכב לאחת משמונה זוויות קבועות בלי להחליף את הרקע.

איפה זה נופל

השליטה המרחבית קשיחה מאוד ואינה חופשית. כדי להזיז אובייקט אתם חייבים לצייר תיבה אדומה פיזית על גבי התמונה ולהשתמש בניסוח קבוע שכולל הוראה להסיר את התיבה בסוף. שינויי זווית מוגבלים לשמונה כיוונים מוגדרים מראש, כמו מבט ימין או שמאל קדמי, ולא לפי מעלות חופשיות. בנוסף, חובה להיצמד לתבניות טקסט מדויקות באנגלית או בסינית, ועברית פשוט לא נתמכת כאן.

איך מריצים

כדי להריץ אותו מקומית תצטרכו סביבת פייתון מגרסה 3.10 ומעלה, PyTorch 2.8, חבילת diffusers עדכנית ומאיץ flash-attn מגרסה 2.8.0. הקבצים שוקלים 47.1 גיגה בייט, כך שכרטיס מסך ביתי רגיל לא יספיק פה. אתם חייבים כרטיס עם זיכרון וידאו עצום או מערך מרובה כרטיסים, כאשר הסקריפט הרשמי כולל פרמטר מובנה לפיצול המודל בין מספר כרטיסים באמצעות FSDP.

ברירת המחדל דורשת 50 צעדי דה-נויזינג ברזולוציית בסיס של 1024 פיקסלים. זה תהליך איטי וכבד חישובית. אם המטרה היא עריכה נקודתית בלי צורך בהרצה עצמאית מבודדת, שווה לבדוק את הדמו שרץ ב־Hugging Face Spaces או להמתין לעטיפת שירות, במקום להחזיק שרת יקר ייעודי.

pip install -U huggingface_hub
hf download jdopensource/JoyAI-Image-Edit

הקבצים

24 קבצים במאגר, 47.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/transformer.pth32.5 GB
• JoyAI-Image-Und/model-00002-of-00004.safetensors4.4 GB
• JoyAI-Image-Und/model-00003-of-00004.safetensors4.4 GB
• JoyAI-Image-Und/model-00001-of-00004.safetensors4.4 GB
• JoyAI-Image-Und/model-00004-of-00004.safetensors4.2 GB
• vae/Wan2.1_VAE.pth507.6 MB
• JoyAI-Image-Und/tokenizer.json11.4 MB
• JoyAI-Image-Und/vocab.json2.8 MB
• JoyAI-Image-Und/merges.txt1.7 MB
• JoyAI-Image-Und/model.safetensors.index.json67.8 KB
• README.md6.3 KB
• JoyAI-Image-Und/tokenizer_config.json5.5 KB
• JoyAI-Image-Und/chat_template.jinja5.3 KB
• infer_config.py2.3 KB
• .gitattributes1.6 KB
• JoyAI-Image-Und/config.json1.5 KB
• JoyAI-Image-Und/video_preprocessor_config.json817 B
• JoyAI-Image-Und/preprocessor_config.json782 B
• JoyAI-Image-Und/added_tokens.json707 B
• JoyAI-Image-Und/special_tokens_map.json613 B
• config.json227 B
• manifest.json215 B
• JoyAI-Image-Und/generation_config.json213 B
• meta.yaml168 B

הרישיון

המודל שוחרר תחת רישיון Apache 2.0. זהו רישיון פתוח ומתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗