phi4-multimodal

מה זה

מתחת למכסה המנוע רץ המודל microsoft/Phi-4-multimodal-instruct בעזרת ספריית transformers של פייתון. הממשק מחלק את העבודה לשניים, כאשר בצד אחד בוחרים את סוג הקלט, מזינים שאלה בתיבת טקסט ומעלים קובץ מתאים, כמו תמונה או אודיו לפי הספריות שנטענות בקוד. בצד השני מקבלים תשובה טקסטואלית בלבד שנוצרת ישירות מהקלט המשולב.

בתחתית הדף יש דוגמאות מובנות שאפשר לפתוח כדי לראות איך המערכת מגיבה. הדוגמאות האלה לא נשמרות מראש בזיכרון מטמון, כך שכל בחירה בהן מייצרת קריאה ממשית לעיבוד הנתונים ומראה את התוצאה בזמן אמת.

מתאים ל

• ניתוח תמונה

  מעלים תמונה, שואלים עליה שאלה בטקסט ומקבלים תיאור של הפרטים שמופיעים בה ישירות בחלון הפלט.

• תמלול והבנת שמע

  מזינים קובץ קול דרך ממשק הקבצים ומבקשים מהמודל לחלץ ממנו את התוכן או לענות על שאלה שקשורה להקלטה.

• בדיקת המודל לפני פיתוח

  מריצים שאלות מורכבות על מדיה מגוונת כדי לבחון אם המודל הזה מתאים לשילוב בפרויקט עצמאי.

איפה זה נופל

החיסרון המיידי הוא שהממשק מושהה כרגע ולא מגיב. מעבר לזה, המודל פולט רק טקסט, כך שאי אפשר לצפות לקבל חזרה קובץ שמע ערוך או תמונה מעובדת. ההדגמה בודקת הנחיות נקודתיות ולא מציגה ניהול שיחה מתמשך, ולכן היא לא משקפת בהכרח ביצועים בצינורות עיבוד כבדים יותר.

איך משתמשים

בוחרים את סוג הקלט דרך כפתורי בחירה, מעלים את הקובץ לתיבה המתאימה, כותבים שאלה ולוחצים על Submit. התשתית מוגדרת על חומרת zero-a10g שמקצה מעבד גרפי של אנבידיה לפי דרישה בעזרת מודול spaces, אבל כרגע האפליקציה נמצאת במצב PAUSED. זה אומר שלא ניתן להריץ בה שאילתות בדפדפן עד שבעל החשבון יפעיל אותה מחדש או שתשכפלו אותה אליכם.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית. זה מתייחס למעטפת של האפליקציה עצמה, כאשר שימוש במודל של מיקרוסופט ובמידע שנוצר דרכו כפוף לתנאי המקור של אותו מודל, וקבצים שמעלים לענן ציבורי חשופים לסביבה שבה הממשק מאוחסן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗