GPT
V

Video-Transcription-Smart-Summary

רץ בדפדפן

artificialguybrרישיון לא דווח2024-07-04

  • gradio

מעלים קובץ וידאו ומקבלים תמלול מלא יחד עם סיכום טקסטואלי קצר. זה מתאים למי שצריך לחלץ תוכן מפגישה מוקלטת או הרצאה בלי להקשיב לכולה.

  • הורדות בחודש
  • 374לייקים

מה זה

הממשק מקבל קובץ וידאו ישירות מהמחשב שלכם, בלי הגדרות מסובכות או צורך לכוונן שדות. ברגע שלוחצים על הכפתור, המערכת מתחילה לעבד את האודיו ומציגה את הטקסט המלא בחלון ייעודי. משם אפשר לבקש בלחיצה נוספת גם סיכום של הנאמר, שמופיע לצד התמלול.

מאחורי הקלעים רצים שני מודלים נפרדים בקוד. התמלול עצמו נשען על whisper-large-v3 של OpenAI, ומודל השפה שמייצר את הסיכום הוא Qwen3.5-2B. בנוסף, הקוד כולל זיהוי שפה אוטומטי בעזרת langdetect, כך שהוא מזהה בעצמו את שפת הדיבור לפני שהוא פונה לעיבוד הטקסט.

מתאים ל

  • סיכום הרצאות מוקלטות

    מעלים הקלטה של שיעור כדי לקבל את התוכן הכתוב ועיקרי הדברים בלי לצפות שוב בהכל.

  • תמלול שיחות ופגישות

    מחלצים טקסט מפגישות עבודה שמורות בווידאו לקבלת מעקב מסודר אחרי מה שנאמר.

  • יצירת תקציר לסרטונים

    מפיקים נקודות עיקריות מתוך קובצי וידאו ארוכים כדי להבין את התוכן במהירות.

איפה זה נופל

מודל הסיכום הוא בנפח של 2B פרמטרים בלבד, שזה גודל מינימלי למשימות טקסט מורכבות. הוא עלול לפספס ניואנסים, לקצר יותר מדי או להמציא פרטים אם הווידאו ארוך או עמוס בפרטים טכניים. בנוסף, תהליך העבודה מחולק לשני שלבים נפרדים ומחייב לחיצה ידנית על הסיכום רק אחרי שהתמלול מסתיים.

שאלות
נפוצות

האם השימוש כרוך בתשלום?

לא, הממשק פתוח לשימוש ישיר בדפדפן. אתם לא צריכים להזין פרטי תשלום או לפתוח חשבון כדי להעלות קובץ.

מה קורה לקובצי הווידאו שמעלים?

הסרטונים מועברים לשרת שמריץ את הממשק לצורך העיבוד והתמלול. מכיוון שמדובר בהדגמה ציבורית ברשת, לא כדאי להעלות חומרים רגישים או סודיים.

במה זה שונה משימוש ישיר ב־Whisper?

כאן יש מעטפת שמשלבת גם חילוץ טקסט וגם מודל שפה שמסכם אותו בחלון אחד. במקום להריץ סקריפטים בעצמכם, מקבלים את שתי הפעולות ברצף דרך הדפדפן.

האם אפשר להריץ את זה על המחשב?

הקוד בנוי עם ספריות סטנדרטיות כמו transformers ו־gradio, ולכן אפשר להוריד ולהריץ אותו מקומית. עם זאת, תצטרכו כרטיס מסך מתאים שיוכל להחזיק את המודלים של Whisper ושל Qwen.

איך משתמשים

גוררים את הווידאו לתיבת ההעלאה ולוחצים על כפתור התמלול. המערכת רצה על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, כך שזמן העיבוד מהיר יחסית ותלוי בעיקר באורך הסרטון שהעליתם. אחרי שהתמלול מופיע על המסך, לוחצים על הכפתור השני כדי לקבל את הסיכום. אין צורך להירשם או להתחבר כדי להשתמש בממשק.

הרישיון

היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד עצמו. הווידאו שאתם מעלים עובר עיבוד על השרת שמארח את האפליקציה.

הרישיון המלא ב־Hugging Face ↗