Image-to-Audio_Story_Generator

מה זה

אתם מעלים קובץ תמונה בפורמט JPG, JPEG או PNG, והשרשרת מתחילה לעבוד. בשלב הראשון המודל BLIP של Salesforce מזהה מה רואים בתמונה ופולט משפט תיאור קצר. המשפט הזה נכנס מיד כהנחיה למודל Llama 2 70B Chat שרץ דרך Together AI, במטרה לבנות עלילה קצרה עם סוף חיובי שלא עוברת את רף מאה המילים.

בסוף התהליך הסיפור הופך לקובץ שמע. התיעוד מציין מודל של ESPnet להקראה, אבל בקוד עצמו מופיעה ספריית gTTS של גוגל יחד עם תמיכה בשליחת התוצאה בדוא"ל. הממשק של סטרימליט מציג לכם בסוף את תיאור התמונה המקורי, את הטקסט שנכתב ואת נגן השמע להאזנה ישירה.

מתאים ל

• המחשת שרשור מודלים

  בדיקה של חיבור בין תמונה לטקסט ומשם לשמע ברצף אחד.

• יצירת סיפור קצר מתמונה

  הפקת סיפור של עד מאה מילים עם סיום חיובי על בסיס צילום.

• האזנה לתיאור קולי

  קבלת קובץ שמע קצר של עלילה שנבנתה מתוך תמונה שהעליתם.

איפה זה נופל

השרשרת רגישה לטעויות שמתחילות כבר בשלב הראשון. אם BLIP מפספס אובייקט בתמונה, הסיפור שייבנה עליו ימציא עלילה שלא קשורה למה שהעליתם. בנוסף, יש פער בין התיעוד שמבטיח מודל דיבור של ESPnet לבין הקוד שמייבא את gTTS, והטקסט מוגבל מראש למאה מילים בלבד ובאנגלית בלבד.

איך משתמשים

כדי להתחיל מעלים תמונה בעמוד ולוחצים על הכפתור להפעלת התהליך. האפליקציה נמצאת כרגע במצב שינה על שרת מעבד בסיסי, כך שאם פותחים אותה צריך להמתין קודם להתעוררות של השרת. זמן העיבוד עצמו תלוי בריצה של מודל התמונה על המעבד ובקריאות החיצוניות לשרתי ה־API. אם מורידים את הקוד להרצה מקומית במחשב, תצטרכו להתקין תלויות מתוך הקובץ המצורף ולהגדיר מפתחות גישה לשירותי Together AI ו־Hugging Face, אחרת יצירת הטקסט תיעצר.

הרישיון

הרישיון של המאגר מוגדר כלא ידוע. זה אומר שאין היתר שימוש מסחרי מפורש בקוד או בתוצרים, ואי אפשר לדעת מה המדיניות לגבי שמירת התמונות שאתם מעלים לרשת.

הרישיון המלא ב־Hugging Face ↗