GPT
הוספת כלי
L

LTX-2.3-IC-LoRA-Colorizer

קוד פתוח

DoctorDiffusionapache-2.02026-03-13

  • diffusers
  • lora
  • ltx-2.3
  • colorize
  • black&white

המודל צובע קטעי וידאו ישנים בשחור לבן על גבי תשתית LTX-2.3. מורידים אותו כשרוצים להחזיר חיים לסרטונים ישנים בלי לבנות מודל וידאו שלם מאפס.

  • 316 MBמשקל הקבצים
  • 1,133הורדות בחודש
  • 40לייקים

מה זה

מדובר במשקולת LoRA קטנה למשימות וידאו לווידאו, שיושבת מעל מודל הבסיס של חברת לייטריקס. התפקיד שלה מוגדר מאוד, להוסיף צבע לסרטונים מונוכרומטיים. היוצר מבהיר שהפרויקט עדיין בשלבי עבודה, כך שלא מקבלים כאן פתרון מוגמר שלחצתם עליו והכול נצבע בדיוק היסטורי. הרעיון הוא להשתמש בתהליך העבודה של IC-LoRA, לעקוף את רכיב ה־ControlNet, ולהנחות את המודל בטקסט אילו צבעים להצמיד לכל אובייקט.

בניגוד לכלים שמנסים לרנדר מחדש את כל הווידאו ומאבדים את הפירוט המקורי, כאן מקבלים שכבת צבע. ההמלצה בדף היא לייצר מפת צבעים בחצי מהרזולוציה הרצויה, ואז לשלב אותה בתוכנת עריכה מעל הסרטון המקורי במצב שילוב של Color. הטכניקה הזו שומרת על החדות של הצילום המקורי בלי שהמודל ימרח פרטים חשובים.

מתאים ל

  • שחזור ארכיונים ישנים

    צביעה מבוקרת של סרטים ביתיים או צילומים היסטוריים באמצעות שילוב מפת צבע על חומר הגלם.

  • הפקת וידאו משולבת

    הוספת גוונים לקטעי שחור לבן בהתאם להנחיות טקסט מדויקות ופריים בסיס צבוע מראש.

  • רינדור צבע מהיר

    הפקת מפות צבע בחצי רזולוציה כדי לחסוך זמן חישוב ולשמור על החדות של הווידאו המקורי.

איפה זה נופל

היוצר מציין במפורש שהמודל רחוק מלהיות מושלם. בלי הנחיות טקסט מדויקות שמפרטות איזה צבע שייך לכל אובייקט, הצביעה עלולה להתפזר. בנוסף, חובה להשתמש בפריים ייחוס צבוע כדי לייצב את התוצאה לאורך זמן, ואם לא תבצעו את שכבת השילוב בפוסט פרודקשן, הווידאו יאבד מאיכותו. זה לא כלי אוטומטי שמתאים לצביעה המונית ללא התערבות ידנית.

שאלות
נפוצות

האם המודל יכול לרוץ לבד בלי תלויות נוספות?

לא. מדובר בתוסף LoRA שנועד לפעול יחד עם מודל הבסיס LTX-2.3. חייבים סביבת diffusers מתאימה ואת תהליך העבודה של IC-LoRA כדי להפיק ממנו וידאו.

איך דואגים שהצבעים לא יקפצו בין הפריימים?

היוצר ממליץ להיעזר בפריים ייחוס צבוע בתחילת התהליך, לצד תיאור טקסטואלי מפורט של הצבעים המבוקשים בכל חלק בסצנה.

איך מריצים

המשקל הכולל של הקבצים עומד על 316 מגה בייט בלבד בספריית diffusers, כך שהורדה והרצה מקומית הן עניין פשוט מאוד. עם זאת, זכרו שזו שכבת LoRA ולא מודל עצמאי. כדי להפעיל אותה בפועל צריך להריץ ברקע את מודל הבסיס של LTX-2.3, וזה כבר דורש כרטיס מסך חזק ומודרני עם כמות זיכרון מכובדת לעיבוד וידאו.

אם אין לכם כרטיס מתאים בסביבת הפיתוח, אין סיבה להילחם בזה מקומית. עדיף להעלות את התהליך לשרת ענן שכור או להשתמש בפתרון שמריץ את מודל הבסיס מרחוק, במיוחד אם צובעים קטעים ארוכים מרובי פריימים שמכבידים על הזיכרון הגרפי.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("DoctorDiffusion/LTX-2.3-IC-LoRA-Colorizer")
img = pipe("a photo").images[0]

הקבצים

4 קבצים במאגר, 316 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש במודל לצרכים מסחריים ופרטיים, לשנות אותו ולהפיץ אותו כחלק ממוצר שלכם. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים והרישיון המקורי, והוספת הצהרה על שינויים אם ביצעתם כאלה.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗