DiffMorpher
רץ בדפדפןKevin-thuרישיון לא דווח2023-12-22
הכלי מייצר סרטון מעבר חלק בין שתי תמונות בעזרת מודל דיפוזיה ואימון מהיר. הוא מיועד לחוקרים ויוצרים שרוצים לבחון מורפינג מבוסס בינה מלאכותית.
- —הורדות בחודש
- 67לייקים
מה זה
אתם מעלים שתי תמונות, תמונה ראשונה ותמונה שנייה, וכותבים תיאור טקסטואלי קצר לכל אחת מהן. ברירת המחדל בממשק מציגה תמונה של אילון מאסק עם תיאור של פני גבר, מול תמונה של פיי-פיי לי עם תיאור של פני אישה. בסיום התהליך מקבלים קובץ וידאו בפורמט MP4 שמציג את ההשתנות ההדרגתית ביניהן.
מאחורי הקלעים הקוד מתבסס על המודל stabilityai/stable-diffusion-2-1-base ועל צינור עיבוד בשם DiffMorpherPipeline. כדי לשמור על דיוק התמונות המקוריות, הכלי מאמן שכבות LoRA ייעודיות לכל תמונה לפי 200 צעדים, ומשלב ביניהן יחד עם מנגנוני החלפת קשב, AdaIN וקביעת כמות פריימים וקצב תצוגה.
מתאים ל
- מעבר רציף בין דיוקנאות
יצירת אנימציית וידאו קצרה שממזגת בין שני פרצופים שונים באופן הדרגתי.
- מחקר אינטרפולציה בדיפוזיה
בדיקת התנהגות מודל הבסיס של סטייבל דיפיוז'ן בעת שילוב משקלי LoRA שונים.
- הנפשת שינוי סגנון
הפקת קובץ וידאו המציג שינוי הדרגתי בין שני עצמים בעלי תיאור מוגדר מראש.
איפה זה נופל
הבעיה המרכזית כרגע היא שהספייס נמצא במצב תקלה, RUNTIME_ERROR, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי לתקן את הקוד או לשכפל את הסביבה. מעבר לזה, חומרת T4 חלשה יחסית למשימות שכוללות אימון רשתות בזמן אמת, והרצה מלאה עלולה להיכשל תחת עומס. בנוסף, אם מדלגים על שלב אימון ה־LoRA, איכות המעבר יורדת והדמויות עלולות להיראות מעוותות.
שאלות
נפוצות
האם הכלי זמין כרגע לשימוש ישיר בדפדפן?
לא, המצב הנוכחי של האפליקציה מוגדר כשגיאת ריצה, RUNTIME_ERROR. כדי להשתמש בה יש להוריד את הקוד, לפתור את השגיאה ולהריץ אותו באופן עצמאי. עד שהיוצר יעדכן את הסביבה בעמוד, הממשק אינו פעיל.
האם השימוש באפליקציה כרוך בתשלום?
האפליקציה עצמה פתוחה ללא תשלום ב־Hugging Face ואינה דורשת מנוי. עם זאת, בגלל שהיא אינה פועלת כרגע, תצטרכו להקצות חומרה משלכם כדי להריץ את הקוד. עלות החומרה תלויה במחשב המקומי או בענן שבו תבחרו להשתמש.
כמה זמן לוקח לייצר סרטון מעבר מלא?
התהליך המלא כולל אימון LoRA של 200 צעדים לכל תמונה ולאחר מכן הפקת 16 פריימים. על כרטיס T4 שמוגדר בפרויקט, מדובר בכמה דקות טובות של המתנה. אם בוחרים באפשרות לרוץ ללא אימון LoRA, הזמן מתקצר משמעותית אך התוצאה מאבדת מאיכותה.
איך משתמשים
טוענים את שתי התמונות, מעדכנים תיאורים ולוחצים על כפתור ההרצה המלאה Run, או מאמנים קודם כל LoRA בנפרד לכל צד. אפשר גם ללחוץ על הרצה ללא אימון כדי לחסוך זמן, אך התוצאה תהיה פחות מדויקת למקור. השרת מוגדר על חומרת t4-medium, ולכן אימון שתי רשתות LoRA וייצור 16 פריימים ברזולוציית 512 על 512 לוקחים זמן מורגש ולא קורים מיד.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה ומפורשת לשימוש מסחרי בקוד או בפלט, וזכויות השימוש נשארות מעורפלות. יש לקחת זאת בחשבון לפני שמעלים תמונות פרטיות או מתבססים על הפרויקט.