ACE-Chat

מה זה

אתם מעלים תמונה ומקלידים הוראות בשפה חופשית כדי לשנות אותה, לצייר מסכות או לייצר קטע וידאו. הממשק כולל אזור צ'אט, חלון לצביעת מסכות (ImageMask) עם אפשרות להרחבת שוליים (padding) מכל כיוון, ורכיבי צפייה בתמונות ובווידאו.

מתחת למכסה המנוע רץ המודל ACE-0.6B-512px של מעבדת Tongyi Lab, יחד עם צינור של CogVideoXImageToVideo ליצירת וידאו מתמונה. הקוד משלב גם מודל לתיאור תמונות (captioner), טוקנייזר וצינור שיפור הנחיות של transformers שמאלץ את תיאורי הווידאו לעמוד באורך מוגדר מראש לפי דוגמאות מובנות.

מתאים ל

• עריכת תמונות מונחית טקסט

  מעלים תמונה, מסמנים אזור במסכה ומבקשים שינוי מקומי באמצעות הנחיית טקסט ומודל ACE.

• הרחבת שוליים לתמונה

  משתמשים בסליידרים כדי להגדיל את התמונה מלמעלה, מלמטה או מהצדדים ומייצרים השלמה חזותית.

• הנפשת תמונה לווידאו

  מעבירים תמונה קיימת ומייצרים ממנה קליפ וידאו קצר באמצעות שילוב של CogVideoX.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן עקב שגיאת ריצה, כך שאי אפשר לבדוק אותה כרגע בלי להוריד את הקוד ולתקן אותו. בנוסף, המודל הבסיסי מוגבל לרזולוציה של 512 פיקסלים, כך שלא תקבלו כאן תמונות חדות או עיבוד באיכות דפוס.

איך משתמשים

כרגע אי אפשר להריץ את הדמו כי הוא נמצא במצב שגיאת ריצה (RUNTIME_ERROR). כשהממשק למעלה, אתם מעלים קובץ דרך לשונית ההעלאה, מגדירים מסכה או מרחיבים שוליים באמצעות סליידרים, מוסיפים הנחיה שלילית בהגדרות לפי הצורך ולוחצים על שליחה. האפליקציה מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה ברגע שמתחילים פעולה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הקוד. לגבי התמונות שאתם מעלים או התוצרים שנוצרים, תנאי השימוש תלויים במדיניות של פלטפורמת Hugging Face שבה הדמו מאוחסן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗