GPT-4o-omni-text-audio-image-video

מה זה

מעלים לממשק קובצי וידאו, תמונות, הקלטות קול או מאמרי PDF. המערכת מחלצת פריימים ואודיו מווידאו באמצעות OpenCV ו־MoviePy, מתמללת קול בעזרת Whisper ומאפשרת לשוחח על התוכן, לחלץ עובדות מרכזיות או לייצר שאלונים.

למרות הכותרת שמבטיחה טיפול כולל דרך GPT-4o, הקוד משלב קריאות API חיצוניות של OpenAI יחד עם מודלים נוספים כמו Mixtral, Mistral, Gemma ו־Llama הרצים ברקע, לצד מנוע חיפוש פנימי למאמרי Arxiv המבוסס על RAG. התוצרים נשמרים כקובצי מרקדאון מקומיים הניתנים לעריכה ולהורדה כארכיון זיפ.

מתאים ל

• תמלול וסיכום וידאו

  חילוץ האודיו מקובצי וידאו, תמלול שלו וסיכום הנקודות החשובות ישירות למסמך מרקדאון.

• תשאול מאמרים ומסמכים

  טעינת קובצי PDF מרובים, ביצוע חיפוש סמנטי והפקת שאלונים או עובדות מתוך הטקסט.

• ניתוח תמונות והקלטות

  העלאת תמונות לפיענוח ויזואלי והקלטת פקודות קוליות ישירות מהדפדפן לקבלת מענה טקסטואלי.

איפה זה נופל

הבעיה המרכזית היא שהיישום שבור ולא נבנה בהצלחה בשרת, כך שאי אפשר להריץ אותו ישירות באתר. בנוסף, חומרת המעבד הבסיסית לא תחזיק עיבוד וידאו כבד או מודלים מקומיים, והתמלול מסתמך על דגם Whisper ייעודי לאנגלית בלבד ללא התאמה לעברית.

איך משתמשים

נכנסים לדפדפן, בוחרים את סוג הקובץ בסרגל הצד ומעלים אותו ישירות לעיבוד. מכיוון שמצב הבנייה של היישום מדווח כרגע כשגיאה והוא מוגדר על חומרת מעבד בסיסית, הוא לא פעיל בדפדפן באופן מיידי. שימוש בו ידרוש הפעלה עצמאית והזנת מפתחות גישה מתאימים לחיבורי ה־API.

הרישיון

הקוד פתוח תחת רישיון MIT המאפשר שימוש, שינוי והפצה חופשית לכל מטרה. קובצי המדיה והטקסט שמועלים מעובדים מקומית ונשמרים במערכת הקבצים של השרת, אך קריאות הניתוח נשלחות לשירותי צד שלישי לפי מפתחות ה־API המוגדרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗