TangoFlux — הדגמה
קוד פתוחdeclare-labרישיון לא דווח2024-04-14
הכלי מייצר אפקטים קוליים וקטעי אודיו מתיאור טקסטואלי חופשי. הוא מתאים ליוצרי וידאו, מפתחי משחקים או סאונדמנים שמחפשים דגימות קול נקודתיות בלי לחפש במאגרים.
- 3.8 GBמשקל הקבצים
- —הורדות בחודש
- 326לייקים
מה זה
אתם מקלידים תיאור של צליל באנגלית ומקבלים קובץ אודיו בפורמט שניתן להאזנה ולהורדה ישירות מהדפדפן. הממשק מאפשר לשלוט על משך הצליל בשניות, על מספר צעדי הניקוי ועל מידת ההיצמדות של התוצאה לטקסט שהכנסתם.
מתחת למכסה המנוע רץ TangoFlux לצד מודל השפה Flan-T5 Large של גוגל ורכיבים מתוך Stable Audio Open של Stability AI. החיבור הזה משתמש בטכניקת התאמת זרימה לצד אופטימיזציה שמתבססת על הדאטהסט CRPO כדי לדייק את הסאונד ביחס להוראות שלכם.
מתאים ל
- אפקטים קוליים למשחקים
יצירת רעשי רקע, פיצוצים או לחישות ממשק ישירות מתיאור טקסט קצר.
- עיצוב סאונד לווידאו
הפקת רעשי אווירה מותאמים אישית לסרטונים בלי תלות במאגרי דגימות קיימים.
- בדיקת איכות למודל
התנסות מהירה ביכולות של TangoFlux מול פרמטרים שונים לפני הורדת הקוד.
איפה זה נופל
האפליקציה מתמקדת בצלילים ובאפקטים קוליים, כך שלא תקבלו כאן שירים מלאים או מוזיקה מורכבת עם שירה. תיאורים מורכבים מדי עלולים לפספס, ומאחר שמדובר במודל שפה של T5, כתיבה בעברית כנראה תיתן תוצאות גרועות או שקט מוחלט, כך שעדיף לכתוב באנגלית בלבד.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה דרך הדפדפן בהאגינג פייס פתוחה לגמרי. כל עוד המרחב פעיל, אפשר להזין הנחיות וליצור קבצים בלי לשלם.
מה קורה עם הטקסט שאני מקליד?
הטקסט נשלח לשרת שמריץ את המודל לצורך יצירת האודיו בלבד. אין כאן העלאת קבצים פרטיים מהמחשב שלכם, אבל הממשק פומבי.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד מסתמך על TangoFlux וספריות פתוחות כמו diffusers ומשתמש בחומרת A10G. תצטרכו כרטיס מסך מתאים עם זיכרון מספק כדי להריץ אותו עצמאית.
במה הממשק הזה שונה משימוש במודל ישירות בקוד?
הממשק נותן גישה נוחה עם סליידרים להגדרת צעדים, דיוק ואורך עד 30 שניות בלי לגעת בפייתון. הוא מצוין לבדיקה מהירה, אך מוגבל ליצירה בודדת בכל פעם.
איך מריצים
פותחים את העמוד, כותבים את הבקשה בתיבת הטקסט, מכוונים את הסליידרים אם רוצים צליל ארוך או מדויק יותר, ולוחצים על כפתור ההרצה. הממשק מופעל על גבי כרטיס A10G שמוקצה לפי דרישה, כך שזמן ההמתנה תלוי בעיקר במספר הצעדים ובאורך הקובץ שתבחרו.
pip install -U huggingface_hub hf download declare-lab/TangoFlux
הקבצים
11 קבצים במאגר, 3.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון של המרחב לא דווח במפורש בעמוד. בלי הגדרה רשמית, אי אפשר לדעת בוודאות אם מותר לקחת את הצלילים שנוצרו לפרויקטים מסחריים או לשימוש חופשי.