poster2plot
רץ בדפדפןdeepklarityרישיון לא דווח2022-03-02
מעלים פוסטר של סרט או סדרת טלוויזיה ומקבלים תיאור עלילה משוער באנגלית. זה מיועד למי שרוצה לבדוק הדגמת ראייה ממוחשבת שמחברת בין תמונה לטקסט.
- —הורדות בחודש
- 49לייקים
מה זה
אתם מעלים תמונת פוסטר בפורמט חזותי רגיל, לוחצים על כפתור השליחה, ומקבלים בתיבת טקסט עלילה שהמודל המציא או שחזר לפי מה שהוא זיהה. הממשק כולל גם תיקיית דוגמאות מובנית עם פוסטרים מוכנים מראש, כך שאפשר לבדוק את התוצאות מיד בלי להעלות קבצים מהמחשב.
מאחורי הקלעים רץ שילוב של מודל VisionEncoderDecoder יחד עם gpt2 בצד הפענוח ומודל ייעודי של deepklarity. המערכת מחלצת מאפיינים ויזואליים ישירות מהתמונה ומנסה לתרגם אותם למשפטי עלילה רציפים בעזרת מודל השפה. זו ארכיטקטורה שלוקחת את הדימוי החזותי ומייצרת סביבו כיתוב חופשי וארוך יותר מכותרת פשוטה.
מתאים ל
- בדיקת זיהוי פוסטרים
מעלים פוסטר קיים כדי לראות אם המודל מנחש את העלילה האמיתית.
- השראה לכתיבת תקצירים
מזינים איור מקורי כדי לקבל רעיון גולמי לסיפור באנגלית.
- התנסות בחיבור תמונה לטקסט
בוחנים איך שילוב של מקודד ראייה ו־gpt2 מייצר פסקאות.
איפה זה נופל
ההדגמה מבוססת על מודל שפה ותיק מסוג gpt2, ולכן תיאורי העלילה עלולים להיות גנריים, לא מדויקים או מנותקים לחלוטין מהסרט האמיתי. היא לא מזהה שחקנים או טקסט בעברית, ולא מבטיחה ניתוח עמוק של פרטי הפוסטר מעבר לרמזים ויזואליים כלליים.
שאלות
נפוצות
האם השימוש כרוך בתשלום?
לא, הממשק פתוח לשימוש חופשי בדפדפן. לא צריך להזין פרטי תשלום או לפתוח חשבון.
מה קורה לתמונות שמעלים?
התמונות נשלחות לזיכרון השרת שמריץ את הקוד לצורך הפקת הטקסט. הקוד שפורסם לא מציג שמירה של הקבצים למאגר קבוע, אך המידע עובר דרך שרתי השירות.
האם אפשר להריץ את זה מקומית?
כן, הקוד משתמש בספריית transformers ודורש את המודלים deepklarity/poster2plot ו־gpt2. אפשר להתקין את התלויות ולהריץ את קובץ app.py בסביבת פייתון מקומית.
האם זה עובד בעברית?
לא. המודלים אומנו באנגלית ומפיקים טקסט באנגלית בלבד. פוסטרים עם כיתוב בעברית לא יקבלו התייחסות מתאימה לשפה.
איך משתמשים
גוררים תמונה לאזור הקלט או בוחרים אחת מתמונות הדוגמה שבתחתית העמוד, ולוחצים על Submit. אין צורך בהרשמה או התחברות. האפליקציה רצה על חומרת cpu-basic בסיסית, ולכן יצירת הטקסט עשויה לקחת כמה שניות טובות לכל פוסטר בהשוואה לכרטיס מסך ייעודי.
הרישיון
הרישיון של המאגר לא דווח בקוד או בפרטי המערכת. במצב כזה אין אישור שימוש מסחרי מוגדר, ומומלץ להתייחס לתוצאות ולהעלאת התמונות כשימוש לצורכי בדיקה והתנסות אישית בלבד.