speech-to-image

מה זה

הממשק מציג קלט בודד של מיקרופון ותיבת פלט לתמונה. אתם מקליטים את עצמכם מדברים ישירות דרך הדפדפן, וההקלטה מועברת לקוד שמפעיל שני מודלים שונים בשרשרת.

השלב הראשון שולח את קובץ האודיו אל המודל Whisper Small של OpenAI, שמתמלל את הדיבור שלכם לטקסט. מיד אחר כך, הטקסט שנוצר מוזן לפייפליין של Stable Diffusion בגרסה 1.4, שמייצר את התמונה ומציג אותה על המסך.

אין כאן הגדרות מורכבות או בחירת סגנונות. מדובר בחיבור ישיר של תמלול ויצירת תמונה לפי דוגמה מקהילת הקוד הפתוח של diffusers, שמטרתה לחבר מודל קול למודל פיענוח חזותי.

מתאים ל

• בדיקת שרשור מודלים

  הבנה מהירה של איך מחברים זיהוי קולי ישירות ליצירת תמונה בקוד פתוח.

• הדגמת קונספט קולי

  יצירת אב טיפוס שממחיש הפעלה קולית במקום הקלדת פרומפטים ידנית.

• התנסות ב־Whisper

  בדיקה של תמלול דיבור ישירות ממיקרופון מול מודלים קטנים יחסית.

איפה זה נופל

ההדגמה הזו מוגבלת מאוד ולא מאפשרת לראות את הטקסט שתומלל לפני שהתמונה נוצרת. אם המודל לא הבין את המבטא שלכם, תצא תמונה שלא קשורה למה שאמרתם ולא תדעו למה. בנוסף, מודל Whisper Small עלול להתקשות עם עברית, ואין אפשרות לשלוט בפרמטרים של התמונה.

איך משתמשים

לוחצים על כפתור המיקרופון בממשק, מקליטים תיאור קצר באנגלית, ושולחים לעיבוד. כרגע היישום נמצא במצב מושהה ולא רץ באופן פעיל. אם תפעילו אותו מחדש, קחו בחשבון שהוא מוגדר על חומרת מעבד בסיסית בלבד, מה שאומר שהרצת Whisper וספציפית Stable Diffusion תהיה אטית מאוד ותדרוש המתנה ארוכה לכל פלט.

הרישיון

הרישיון לא דווח בעמוד של הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, וכדאי להתייחס אליו כהדגמה לימודית בלבד.

הרישיון המלא ב־Hugging Face ↗