TemporalNet

מה זה

מדובר במודל שנועד להפחית ריצודים בתוצרי וידאו, בעיקר כשעובדים ברמות דינויז גבוהות שבהן מודלים רגילים מייצרים קפיצות חדות בין פריים לפריים. הוא פועל מעל תשתית דיפיוזרס וספציפית דרך הרחבת קונטרול-נט לסביבת סטייבל דיפיוז'ן 1.5, כשהמטרה העיקרית שלו היא להחזיק את המידע מהפריים הקודם כדי שהתמונה לא תתפרק.

היוצרת מבהירה מראש שהכלי לא מעלים את כל הריצוד, אלא מצמצם אותו. כדי לקבל תוצאה שבאמת מחזיקה וידאו שלם, הדף מפנה לשימוש משולב עם שיטות נוספות ועם מודל קצוות כמו hed, שההגדרות עבורו כבר מוטמעות בסקריפט ההרצה המצורף.

מתאים ל

• ייצוב סרטונים מעובדים

  צמצום ריצודים מעצבנים בין פריימים ברמות דינויז גבוהות בעבודה עם סטייבל דיפיוז'ן.

• פייפליין וידאו מקומי

  שילוב עם סקריפט פייתון מול Automatic1111 לעיבוד אוטומטי של תיקיית תמונות.

• עיבוד רב שכבתי

  הרצה במקביל למודלי קונטרול-נט אחרים כמו hed לחיזוק קווי המתאר והתנועה.

איפה זה נופל

המודל מוגדר בגרסת בטא בלבד ודורש לא מעט עבודה ידנית. הוא לא מונע ריצוד באופן מוחלט, וחייבים לייצר עבורו קובץ תמונה ראשוני בשם init.png בסגנון הרצוי רק כדי שהפריימים הראשונים לא יחטפו קפיצה ויזואלית חדה. בנוסף, הוא לא עובד טוב לבד וצריך לשלב אותו עם שיטות חיצוניות כדי לקבל עקביות אמיתית.

איך מריצים

ההפעלה מתבצעת מקומית דרך ממשק Automatic1111 עם דגל ה־api דולק, בשילוב הרחבת קונטרול-נט. מורידים את קובץ ה־safetensors ששוקל בגרסת חצי דיוק (fp16), שמים אותו בתיקיית המודלים המתאימה, ומריצים סקריפט פייתון ייעודי בשם temporalvideo.py שמזין את הפריימים מתוך תיקיית קלט.

אם אתם שוקלים להרים את זה לבד, קחו בחשבון נפח קבצים כולל של 16.5 גיגה-בייט שמחייב כרטיס מסך עם זיכרון סביר לטעינת קונטרול-נט לצד המודל הבסיסי. אין פה שירות ענן מנוהל מוכן מהיוצרת, כך שמי שרוצה להשתמש בזה חייב לבנות לעצמו פייפליין מקומי או לשלוח קריאות למכונה ייעודית שמריצה את הממשק.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("CiaraRowles/TemporalNet")
img = pipe("a photo").images[0]

הקבצים

11 קבצים במאגר, 16.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• temporalnetv3.ckpt12.7 GB
• diffusion_pytorch_model.bin1.4 GB
• diffusion_pytorch_model.safetensors1.4 GB
• diffusion_pytorch_model.fp16.bin722.7 MB
• diff_control_sd15_temporalnet_fp16.safetensors722.6 MB
• diffusion_pytorch_model.fp16.safetensors722.6 MB
• temporalvideo.py4.0 KB
• cldm_v15.yaml1.9 KB
• README.md1.8 KB
• .gitattributes1.5 KB
• config.json945 B

הרישיון

הרישיון הוא openrail, מה שאומר שמותר להשתמש בו כולל במוצרים מסחריים, אבל בכפוף למגבלות שימוש אתי מוגדרות מראש. צריך לבדוק שהפרויקט שלכם לא נופל באחד מהשימושים האסורים שמפורטים בכתב הרישיון לפני שמשלבים אותו במוצר.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗