Zeyue7/AudioX

מה זה

הממשק מקבל הנחיית טקסט, הנחיה שלילית, ואפשרות לצרף קובץ וידאו או דגימת סאונד קיימת. במידה ומעלים סרטון, קובעים מאיזו שניה להתחיל וכמה שניות לחתוך. הפלט מגיע כקובץ אודיו נפרד או כסרטון מוכן שבו פס הקול החדש כבר מוטמע בתוך הוידאו המקורי.

מאחורי הקלעים רצים המודל AudioX של HKUSTAudio יחד עם כלי דיפוזיה מסדרת stable-audio-tools, מקודד Encodec של מטא בתדר 32 קילוהרץ, וסדרת מודלי Flan-T5 של גוגל לפענוח הטקסט. יש שליטה מלאה בפרמטרים של הדגימה, כמו כמות הצעדים, סולם ה־CFG, קביעת סיד קבוע וסוג הדוגם.

הממשק מציג דוגמאות מובנות בשתי קטגוריות מרכזיות. ביצירת אפקטים יש דוגמאות כמו הקלדה במקלדת, גלי ים מתנפצים וצעדים בשלג. בתחום המוזיקה מוצגות דוגמאות לקטע תזמורתי מעולם הפנטזיה, מוזיקה אלקטרונית קצבית למסיבה, ומקצב לואו פיי חלומי עם רחשי תקליט.

מתאים ל

• הוספת אפקטים לקטעי וידאו

  מעלים סרטון קצר ומייצרים אפקטי רקע כמו גלים או צעדים שמתמזגים ישירות לקובץ.

• יצירת מוזיקת רקע מטקסט

  מגדירים סגנון מוזיקלי, מקצב או אווירה ומקבלים קטע סאונד מקורי לפי ההנחיה.

• בדיקת התאמת סאונד לתמונה

  בודקים רעיונות לפסקול מול ציר הזמן של הוידאו ישירות בדפדפן בלי עריכה חיצונית.

איפה זה נופל

הממשק מציע הגדרות מתקדמות שעלולות לבלבל אם לא מכירים מודלי דיפוזיה, כמו ערכי סיגמה וסוגי דוגמים. בנוסף, האפשרות לעבוד עם אודיו התחלתי מוסתרת כברירת מחדל בקוד ולא תמיד זמינה בצורה חלקה. חשוב לזכור שהדוגמאות המוצגות מלוטשות, והתאמה מדויקת בין תנועה בסרטון לסאונד תדרוש מכם דיוק ידני באורכי הזמנים ובפרמטרים.

איך משתמשים

מזינים תיאור מילולי, מעלים וידאו אם רוצים להתאים לו סאונד, ולוחצים על Generate. אין צורך להירשם או להתחבר לחשבון כדי להתחיל לעבוד.

העיבוד רץ על מאיץ A10G דרך תשתית ZeroGPU של האגינג פייס. זה אומר שהחומרה מוקצית ברגע הלחיצה, מה שמספק מהירות יצירה סבירה, אבל עלול לייצר המתנה בתור של כמה שניות עד שהכרטיס מתפנה אם יש עומס משתמשים.

הרישיון

הפרויקט מפורסם ברישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש, שינוי ושיתוף של הקוד והתוצרים למטרות מחקר, לימוד ושימוש אישי בלבד, ואוסר שימוש מסחרי מכל סוג.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗