Image2Paragraph

מה זה

אתם מעלים קובץ תמונה ומקבלים תיאור מפורט שמוצג כפלט HTML. הממשק מציע שתי אפשרויות בחירה בתיבות סימון, סגמנטציה סמנטית ויצירת תמונה מחדש, לצד דוגמה מובנית בקובץ test_4.jpg שמציגה איך הקלט אמור להיראות.

מאחורי הקלעים הקוד מחבר שרשרת מורכבת של מודלים. הוא משתמש ב־BLIP עבור תיאור התמונה הבסיסי, במודל Runway Stable Diffusion v1-5 לשחזור או יצירה חזותית, ובסדרה רחבה של מודלי BERT, כולל גרסאות רב-לשוניות, מודל לסינית ומודל לגרמנית. המטרה של המערך הזה היא לפרק את התמונה לחלקים, להבין את ההקשר הטקסטואלי ולבנות ממנו פסקה קוהרנטית במקום כיתוב שטוח.

מתאים ל

• תיאור סצנות עשיר

  יצירת פסקת תיאור ארוכה ומפורטת מתמונה לצורכי תיעוד או הפקת כתוביות מורכבות.

• סגמנטציה חזותית

  חלוקת התמונה לאזורים סמנטיים כדי לזהות אילו עצמים מרכיבים את הסצנה.

• שחזור תמונה מטקסט

  יצירה מחדש של הדימוי באמצעות מודל דיפוזיה על בסיס התיאור שנבנה.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה שבורה ולא מחזירה תוצאות. מעבר לזה, המודלים המוצהרים כוללים שפות כמו גרמנית, סינית ואנגלית, אך אין ברשימה מודל ייעודי לעברית, כך שאין מה לבנות על תיאורים מדויקים בשפת המקור שלנו. כדאי גם לשים לב שהפעלת יצירת תמונה מחדש עלולה לעוות את המקור בגלל המגבלות של גרסת הדיפוזיה הישנה.

איך משתמשים

בפועל, כרגע אי אפשר להריץ את ההדגמה בדפדפן כי היא נמצאת במצב של שגיאת ריצה. בעבודה רגילה מעלים תמונה, בוחרים אם לסמן את תיבות הסגמנטציה או יצירת התמונה, ומריצים. החומרה שמוקצית שם היא מאיץ t4-medium, כך שגם כשהקוד עובד, שרשור של מספר מודלי שפה ו־Stable Diffusion דורש עיבוד כבד ולא מסתיים בשבריר שנייה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי הקוד והפצה, כולל שימוש מסחרי, כל עוד שומרים על תנאי הרישיון המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗