mini-omni — הדגמה

מה זה

מקליטים הודעה ישירות מהמיקרופון בממשק, ומקבלים בחזרה קובץ שמע מנוגן עם תשובה קולית. התהליך מתבצע בהזרמה, כך שהשמע מתחיל לחזור תוך כדי עיבוד ולא מחכים לקובץ שלם שייבנה ברקע.

מאחורי הקלעים הקוד מתבסס על המודל gpt-omni/mini-omni יחד עם ארכיטקטורת litgpt, ומשלב פענוח של רכיבי whisper וטוקניזציה ייעודית לקול. המערכת נעזרת במודל הדחיסה hubertsiuzdak/snac_24khz שמפרק ובונה מחדש את גלי הקול בתדר 24 קילוהרץ כדי לייצר פלט דיבור רציף, לצד אזכור של stabilityai/StableBeluga2 בהגדרות המודלים.

מתאים ל

• בדיקת שיחה בקול

  מדברים למיקרופון ושומעים איך המודל מייצר תשובה ישירות כקובץ שמע.

• התרשמות ממודל SNAC

  בחינה מעשית של איכות שחזור הקול בתדר 24 קילוהרץ מתוך ייצוג דחוס.

• הערכת תגובתיות

  בדיקת אופן פעולת הזרמת האודיו מול המודל כדי להבין את רציפות הדיבור.

איפה זה נופל

אין כאן תיבת טקסט רגילה כדי להקליד שאלות או לקרוא תמלול מסודר של התשובה, אלא רק ערוץ שמע. הממשק נשען על מעבד רגיל בלבד, ולכן זמן התגובה לא מייצג את המהירות האמיתית שאפשר להשיג עם המודל הזה על גבי חומרה גרפית מתאימה. בנוסף, אין אינדיקציה לתמיכה בעברית בדיבור.

איך מריצים

נכנסים לעמוד, לוחצים על רכיב המיקרופון כדי להקליט את השאלה ושולחים לעיבוד. לא צריך לפתוח חשבון או להתחבר לשום שירות חיצוני. החומרה שמוקצית כאן היא מעבד בסיסי בלבד, מה שאומר שהתגובה עלולה לקחת זמן מורגש בהשוואה לשרתים עם כרטיסי מסך ייעודיים.

pip install -U huggingface_hub
hf download gpt-omni/mini-omni

הקבצים

7 קבצים במאגר, 2.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• lit_model.pth2.8 GB
• tokenizer.json7.0 MB
• frameworkv3.jpg171.8 KB
• README.md2.7 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.3 KB
• model_config.yaml848 B

הרישיון

הקוד מופץ תחת רישיון MIT, שמאפשר שימוש חופשי ובדיקה ללא הגבלות מיוחדות. ההקלטות שאתם שולחים עוברות דרך השרת שמריץ את הדמו לצורך עיבוד השמע.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗