חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
C

canary-1b-flash — הדגמה

קוד פתוח

nvidiacc-by-4.02025-03-17

  • gradio

nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.

הכלי מתמלל ומתרגם קטעי שמע ישירות בדפדפן. הוא מיועד למי שרוצה לבדוק במהירות מודל דיבור של אנבידיה בלי להגדיר סביבת פיתוח מקומית.

  • 811Mפרמטרים
  • 6.3 GBמשקל הקבצים
  • —הורדות בחודש
  • 44לייקים

מה זה

אתם מעלים קובץ קול או מקליטים ישירות מהמיקרופון, ובוחרים שפת מקור ושפת יעד מתוך תפריטי הבחירה. בנוסף אפשר לסמן תיבות בחירה כדי לקבל פיסוק ואותיות גדולות או חותמות זמן לצד הטקסט המעובד. הפלט מוצג כטקסט מתומלל או מתורגם על המסך.

מאחורי הממשק רץ מודל התמלול והתרגום canary-1b-flash של אנבידיה מתוך ספריית NeMo, שנטען ישירות בקוד של המערכת. העיבוד מבוסס על הסקריפטים של NeMo שמחלקים את השמע למקטעים ומריצים פענוח בריבוי משימות, כשברישום המודלים מופיע לצדו גם אזכור לגרסת canary-1b-v2.

מתאים ל

  • תמלול מהיר של הקלטות

    מעלים קובץ קול קצר, מסמנים בקשה לפיסוק ומקבלים תמלול טקסטואלי ישירות בחלון הדפדפן.

  • תרגום קולי בין שפות

    בוחרים שפת מקור שונה משפת היעד וממירים דיבור משפה אחת לטקסט כתוב בשפה אחרת.

  • בדיקת חותמות זמן

    מסמנים את אפשרות יצירת חותמות הזמן כדי לראות את זמני המילים המדויקים על גבי קטע השמע.

איפה זה נופל

אם תלחצו על כפתור ההרצה בלי לבחור או להקליט שמע, תקבלו הודעת שגיאה מובנית שמבקשת לספק קלט תקין. בנוסף, הממשק לא כולל מנגנון לעריכה של התוצאה או להורדה ישירה של קובצי כתוביות מסודרים, אלא רק מציג את הפלט המעובד בתוך תיבת טקסט.

ההדגמה מציגה את יכולות המודל הבסיסיות בלבד ואינה חושפת את כל הפרמטרים שקיימים בסקריפט ההרצה המקורי של אנבידיה. כדאי לבדוק קודם איך המודל מתמודד עם רעשי רקע ואורכי הקלט שמעניינים אתכם, לפני שמניחים שהוא יתאים לסביבת עבודה מלאה.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה להדגמה הזאת פתוחה לחלוטין בדפדפן ללא תשלום. אין צורך להזין אמצעי תשלום ואין דרישה להירשם כדי לבדוק קובץ קול.

כמה זמן לוקח לקבל תמלול?

העיבוד מתבצע על גבי חומרת a10g מוקצית, כך שהתמלול עצמו מהיר למדי עבור קטעים קצרים. עם זאת, ייתכן עיכוב של מספר שניות עד שהשרת מקצה את המאיץ הגרפי לתהליך, במיוחד אם המערכת הייתה במצב שינה.

האם אפשר להריץ את המודל מקומית?

כן, המודל מבוסס על ספריית NeMo הפתוחה של אנבידיה וזמין להורדה מלאה. אפשר להשתמש בסקריפט ההרצה המקושר בקוד כדי לעבד קבצים על מחשב אישי עם מאיץ תואם בלי תלות ברשת.

במה שונה הממשק מהמודל עצמו?

הממשק מספק מעטפת גרפית פשוטה לבדיקת קבצים בודדים, בלי צורך לכתוב קוד או להתקין ספריות פייתון. המודל המלא מציע אפשרויות התאמה נרחבות יותר לעיבוד כמויות גדולות של קבצים שלא קיימות במסך הזה.

איך מריצים

לוחצים על רכיב השמע כדי להעלות קובץ או מקליטים בעזרת המיקרופון, בוחרים את השפות וההגדרות של הפיסוק וחותמות הזמן, ולוחצים על כפתור ההרצה כדי לקבל תוצאה. אין צורך להתחבר לשום חשבון או להזין מפתח כדי לנסות אותו בדפדפן.

הקוד משתמש במעטפת שמקצה מאיץ גרפי מסוג zero-a10g לפי דרישה בכל שליחה. המשמעות היא שההרצה עשויה להמתין כמה שניות להתעוררות החומרה ולהקצאת המשאבים לפני שהשמע מעובד, במיוחד בזמני עומס שבהם פניות ממתינות בתור המשותף של השרת.

pip install -U huggingface_hub
hf download nvidia/canary-1b-flash

הקבצים

7 קבצים במאגר, 6.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם ברישיון cc-by-4.0. הרישיון מאפשר שימוש חופשי ושיתוף של הקוד והתוצרים כל עוד נותנים קרדיט מתאים ליוצרים, אך הוא אינו מפרט תנאים נפרדים לשמירת קובצי השמע שמועלים לשרת בזמן השימוש בהדגמה.

  • שימוש מסחרי
  • שינוי הקוד
  • חובת ייחוס

הרישיון המלא בעמוד המודל ↗