xcodec2

מה זה

הארכיטקטורה כאן מחזיקה כ־823 מיליון פרמטרים ומשמשת כגשר בין עולם השמע לעולם מודלי השפה, ספציפית סביב מודלים כמו LLaSA. במקום להשתמש בכמה שכבות קוונטיזציה במקביל שמסבכות את מודל השפה, הוא עובד עם וקטור בודד שמייצר בדיוק 50 טוקנים לכל שניית שמע.

הוא יודע לקחת אות אודיו גולמי, לדחוס אותו למספרים שלוכדים משמעות סמנטית רב לשונית, ואז לקחת את המספרים האלה ולשחזר מהם קובץ קול שנשמע קרוב למקור. הדגש פה הוא על שילוב של סמנטיקה לצד איכות שחזור, כדי שמודלי שפה מבוססי טקסט יוכלו לייצר שמע בלי להישמע רובוטיים.

מתאים ל

• אימון מודלי דיבור

  המרת קובצי קול לייצוג דיסקרטי כדי לאמן מודלים כמו LLaSA על 50 טוקנים לשנייה.

• שחזור שמע מטוקנים

  הפיכת רצפי טוקנים סמנטיים חזרה לאודיו נשמע באיכות טובה בתדרי 16 קילו-הרץ.

• מחקר אודיו רב-לשוני

  בדיקת יכולות דחיסה סמנטית של דיבור בשפות שונות עם שכבת קוונטיזציה בודדת.

איפה זה נופל

הקוד הפשוט מוגבל מאוד ומקבל רק קלט שמע בקצב דגימה של 16 קילו-הרץ, כך שכל קובץ אחר יחייב המרה מוקדמת. בנוסף, מימוש ההסקה הבסיסי תומך רק בקובץ אחד בכל פעם ולא מאפשר עיבוד מקבילי בלי לכתוב מעטפת מותאמת מקוד המקור. חוסר היציבות בין גרסאות החבילה, שהמפתח עצמו מציין בהוראות, דורש בדיקה קפדנית של התלויות כדי שלא יצוצו באגים בלתי צפויים.

איך מריצים

כדי לעבוד איתו צריך סביבת פייתון 3.9 ולהתקין את החבילה הייעודית xcodec2, כאשר המפתח עצמו ממליץ על גרסה 0.1.3 אם מחפשים יציבות שתואמת לאימון המקורי. הקבצים שוקלים יחד 13.9 גיגה-בייט ומחולקים לעשרות קבצים, כך שצריך כרטיס מסך עם זיכרון סביר כדי להריץ את המודל לוקאלית לצד מודל השפה שמשתמש בו.

הסקריפט הבסיסי רץ ישירות על כרטיס המסך באמצעות פייטורץ', קורא קובץ אודיו בודד ומחזיר את הטוקנים ואת השחזור. אין פה כרגע תמיכה מובנית בריצה על כמה קבצים במקביל דרך הממשק הפשוט, ומי שצריך עיבוד בכמויות גדולות יצטרך לקחת את קוד המקור החיצוני שהחוקרים שחררו בגיטהאב.

pip install -U huggingface_hub
hf download HKUSTAudio/xcodec2

הקבצים

94 קבצים במאגר, 13.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• ckpt/epoch=4-step=1400000.ckpt8.3 GB
• pytorch_model.bin3.3 GB
• model.safetensors3.3 GB
• reconstructed.wav156.8 KB
• test.flac97.2 KB
• vq/__pycache__/codec_decoder_vocos.cpython-311.pyc27.7 KB
• vq/__pycache__/codec_decoder_vocos.cpython-312.pyc25.2 KB
• vq/codec_decoder_vocos.py22.3 KB
• vq/__pycache__/codec_decoder_vocos.cpython-39.pyc18.4 KB
• vq/__pycache__/module.cpython-311.pyc18.2 KB
• vq/__pycache__/codec_decoder_vocos.cpython-310.pyc18.1 KB
• vq/__pycache__/module.cpython-312.pyc16.1 KB
• vq/module.py14.5 KB
• vq/__pycache__/module.cpython-38.pyc12.2 KB
• vq/__pycache__/module.cpython-39.pyc12.2 KB
• vq/__pycache__/module.cpython-310.pyc12.0 KB
• vq/__pycache__/codec_encoder.cpython-39.pyc10.2 KB
• vq/codec_encoder.py10.0 KB
• vq/__pycache__/codec_encoder.cpython-310.pyc10.0 KB
• vq/codec_decoder.py9.3 KB
• vq/__pycache__/codec_decoder.cpython-39.pyc9.2 KB
• vq/__pycache__/codec_decoder.cpython-310.pyc9.1 KB
• vq/__pycache__/unet.cpython-312.pyc8.8 KB
• vq/__pycache__/codec_decoder.cpython-311.pyc8.8 KB
• vq/__pycache__/codec_decoder.cpython-312.pyc7.8 KB
• vq/__pycache__/codec_encoder.cpython-38.pyc7.5 KB
• modeling_xcodec2.py6.7 KB
• vq/__pycache__/factorized_vector_quantize.cpython-311.pyc6.3 KB
• vq/__pycache__/blocks.cpython-39.pyc6.3 KB
• vq/blocks.py6.1 KB
• vq/__pycache__/activations.cpython-311.pyc6.1 KB
• vq/__pycache__/blocks.cpython-310.pyc6.0 KB
• vq/unet.py6.0 KB
• vq/__pycache__/factorized_vector_quantize.cpython-312.pyc5.8 KB
• vq/__pycache__/activations.cpython-312.pyc5.6 KB
• vq/__pycache__/unet.cpython-39.pyc5.6 KB
• vq/__pycache__/codec_encoder.cpython-311.pyc4.9 KB
• vq/activations.py4.5 KB
• vq/alias_free_torch/__pycache__/filter.cpython-311.pyc4.5 KB
• vq/__pycache__/codec_encoder.cpython-312.pyc4.4 KB

הרישיון

הרישיון הוא cc-by-nc-4.0, מה שאומר שאסור להשתמש במודל הזה לצרכים מסחריים כלל. הוא פתוח למחקר, ניסויים ולמידה אישית בלבד, תוך מתן קרדיט ליוצרים. חברות או מפתחים שמתכננים להטמיע אותו במוצר שמייצר הכנסה לא יכולים לעשות זאת חוקית.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗