AnimateImage

מה זה

אתם מעלים תמונת מקור, מקלידים פרומפט טקסטואלי, בוחרים תנועת מצלמה מתוך שלוש אפשרויות וקובעים את עוצמת ההשפעה של התמונה המקורית. בתמורה מקבלים קובץ גיף מונפש שנוצר ישירות מהשילוב הזה.

מאחורי הקלעים הקוד מחבר שלושה רכיבים שונים. הוא משתמש במודל הבסיס Realistic Vision בגרסה שש בלי רכיב VAE, משלב עליו מתאם תנועה מסוג AnimateDiff בגרסה אחת וחצי, ומפעיל IP-Adapter כדי לשמור על הדמיון החזותי לתמונה שהעליתם. הצינור הזה מבוסס על Diffusers עם מתזמן DDIM, כשהמטרה היא להניע את הסצנה לפי פקודת הטקסט תוך שמירה על תווי התמונה המקורית.

מתאים ל

• הנפשת תמונת פורטרט

  מעלים צילום פנים ומוסיפים תנועת מצלמה של זום החוצה לקבלת קובץ גיף קצר לרשתות חברתיות.

• המחשת תנועה בנוף

  לוקחים תמונת נוף סטטית, בוחרים הסטה שמאלה ומקלידים הנחיית עננים זזים ליצירת תנועה בסצנה.

• בדיקת שילוב מודלים

  בוחנים איך השפעת מתאם התמונה משתנה מול מתאם התנועה לפי ערכי המחוון השונים.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה פשוט לא עובדת בדפדפן בגלל שגיאת בנייה בקוד. מעבר לכך, אפשרויות התנועה מוגבלות לשלושה כיווני מצלמה בלבד, כך שאין שליטה מורכבת על גופים זזים בתוך הפריים. מחוון החוזק מאפשר לטפס עד ארבע, אבל ערכים גבוהים מדי עלולים לעוות לחלוטין את התוצאה מול הפרומפט.

איך משתמשים

הממשק מציג שדות פשוטים להעלאת תמונה, תיבת טקסט, בחירה בין זום החוצה, הטיה למעלה או פנייה שמאלה, ומחוון עוצמה שנע בין אפס לארבע. מוגדרת עבורו חומרת A10G גדולה שמספקת כוח עיבוד מהיר יחסית לרינדור של גיף, אך נכון לעכשיו העמוד מדווח על שגיאת בנייה ולכן אי אפשר להריץ אותו ישירות בדפדפן.

הרישיון

הפרויקט מוגדר תחת רישיון openrail מסוג creativeml. הרישיון מאפשר שימוש חופשי כולל שימוש מסחרי במודלים, בכפוף להגבלות השימוש הרגילות שמצורפות אליו ומונעות פגיעה באחרים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗