Ask_Questions_To_YouTube_Videos

מה זה

מזינים קישור לווידאו מיוטיוב ומקלידים שאלה בתיבת הטקסט, או בוחרים את סרטון הדוגמה ואת שאלת הדוגמה שמופיעים בממשק. בתגובה מקבלים שני נגני וידאו מוטמעים, כשהראשון מתחיל בחותמת הזמן של התשובה הסבירה ביותר והשני מציג את ההתאמה השנייה בטיבה.

מאחורי הקלעים הקוד שולף את התמליל של הסרטון באמצעות youtube_transcript_api. לאחר מכן נעשה שימוש במודל sentence-transformers/all-MiniLM-L6-v2 כדי לחפש את הקטעים הרלוונטיים ביותר, ובמודל deepset/minilm-uncased-squad2 כדי לחלץ את התשובה המדויקת מתוך הטקסט ולתרגם אותה לשניות שבהן הווידאו יתחיל להתנגן.

מתאים ל

• איתור קטע בהרצאה ארוכה

  מציאת החלק המדויק שבו המרצה מדבר על מושג מסוים מבלי לעבור על כל ההקלטה.

• שליפת מתכון מסרטון בישול

  קפיצה ישר לחלק שמפרט את זמני האפייה או הכמויות מתוך סרטון הדרכה ארוך.

• ניווט במדריכים טכניים

  הגעה ישירה לשלב שבו מראים פתרון לבעיה טכנית ספציפית בתוך סרטון הדרכה.

איפה זה נופל

הבעיה המרכזית כרגע היא המצב הטכני, האפליקציה נמצאת בסטטוס שגיאת בנייה ולא פועלת בפועל ברשת. בנוסף, הקוד מסתמך על תמלילים קיימים מיוטיוב, כך שסרטון בלי כתוביות זמינות פשוט ייכשל. המודלים שמוגדרים בקוד מיועדים לאנגלית ולא מתאימים לעבודה בעברית, והם מוגבלים לתשובות שמופיעות מפורשות במלל ולא מבינים תוכן חזותי שמוצג בסרטון עצמו.

איך משתמשים

לוחצים על כפתור Publish Video לאחר הזנת הקישור והשאלה. הריצה מתבצעת על חומרת מעבד בסיסית, cpu-basic, כך ששליפת התמליל והרצת המודלים דורשות סבלנות של כמה שניות טובות. אין צורך להתחבר או להירשם. עם זאת, נכון לעכשיו סטטוס הבנייה של העמוד תקוע על שגיאה, ולכן אי אפשר להריץ אותו ישירות בדפדפן בלי לתקן את הקוד תחילה.

הרישיון

הקוד מפורסם תחת רישיון gpl, מה שאומר שאם אתם משתמשים בו או משנים אותו, אתם חייבים לחשוף את קוד המקור שלכם תחת אותו רישיון. לגבי המידע, הקישורים והשאלות שאתם מזינים מועברים לעיבוד מול השרת וסרטוני היוטיוב כפופים לתנאי השימוש של יוטיוב.

הרישיון המלא ב־Hugging Face ↗