TemporalNet2

מה זה

מדובר בהרחבה לטכנולוגיית ControlNet שמיועדת ליצירת וידאו עם עקביות זמנית. במקום לייצר כל פריים בנפרד ולסבול מריצודים קשים, הפיתוח הזה מסתמך על הפריים הקודם בשילוב מפת optical flow שמחשבת את כיוון התנועה ביניהם, מה שמשאיר את הפרטים יציבים לאורך זמן.

הגישה דורשת שילוב של קוד מותאם אישית יחד עם מודל קצוות כמו HED כדי לקבל תוצאות מדויקות. זה לא מודל שמייצר וידאו יש מאין מטקסט בלבד, אלא כלי שנועד להעביר סגנון או לעבד מחדש רצף תמונות קיים בלי שהתוצאה תתפרק תוך שנייה.

מתאים ל

• עיבוד וידאו קיים לסגנון חדש

  שומר על עקביות תווי הפנים והתנועה של דמויות בין פריימים באמצעות שימוש במפות זרימה אופטית.

• הנפשת תמונות סטילס ברצף

  מאפשר לייצר פריימים עוקבים שנשענים ישירות על הפריים הקודם ומונעים ריצוד חזותי.

• יצירת אנימציה משולבת HED

  משלב מודל קצוות וזרימה אופטית ליצירת גבולות ברורים ויציבים לאורך זמן בכל פריים.

איפה זה נופל

ההטמעה רחוקה מלהיות מוצר מדף ודורשת התעסקות ידנית עם סקריפטים וגרסאות מפוצלות של תוספים. תמונת הפתיחה שתספקו לא תכתיב את הסגנון הכללי של הווידאו, אלא רק תמנע קפיצות חדות בפריימים הראשונים, ולפי המפתח עדיין חסרה הרחבה מובנית לממשק שתייצר אותה לבד. בנוסף, חובה לייצר מראש את כל הפריימים ומפות הזרימה, כך שזה לא מתאים לעיבוד בזמן אמת.

איך מריצים

המשקל הכולל מגיע ל־17.1 גיגה בייט שמתחלקים על פני תשעה קבצים, כך שצריך כרטיס מסך חזק ומספיק מקום אחסון מהיר כדי לטעון אותם. כדי להריץ תצטרכו לעבוד עם Automatic1111 כשהוא מופעל במצב API, או להשתמש בסקריפטים ייעודיים של הפרויקט ב־Gradio.

ההתקנה לא שגרתית ודורשת מעבר לבראנטש ייעודי של תוסף ה־ControlNet בגיטהאב. מי שרוצה להריץ את זה צריך להכין תיקיית פריימים מראש, להגדיר פריים התחלתי מסוגנן בשם init.png, ולהריץ סקריפט פייתון שמתקשר ישירות עם הממשק המקומי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("CiaraRowles/TemporalNet2")
img = pipe("a photo").images[0]

הקבצים

9 קבצים במאגר, 17.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• temporalnetversion2.ckpt12.7 GB
• temporalnetversion2.safetensors5.7 GB
• temporalvideo.py9.0 KB
• README.md2.4 KB
• cldm_v15.yaml1.9 KB
• temporalnetversion2.yaml1.9 KB
• .gitattributes1.5 KB
• crop_all_images.py949 B
• config.json945 B

הרישיון

הפרויקט שוחרר תחת רישיון openrail. מותר להשתמש בו לצרכים מסחריים ופרטיים, אבל הרישיון מחייב אתכם לא להשתמש בו ליישומים פוגעניים או מזיקים לפי הכללים המוגדרים של הרישיון, ולהעביר את אותן הגבלות הלאה אם אתם מפיצים את המשקולות בתוך יישום שלכם.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗