phi-4-multimodal
רץ בדפדפןmicrosoftרישיון לא דווח2025-02-26
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
הדגמה רשמית של מיקרוסופט לבדיקת מודל שמשלב טקסט, תמונה ואודיו בצ'אט אחד. מיועדת למי שרוצה לבחון יכולות מולטימודליות ישירות בדפדפן בלי לכתוב קוד.
- —הורדות בחודש
- 113לייקים
מה זה
הממשק בנוי כצ'אט שמקבל שאלות טקסט יחד עם קובצי תמונה או הקלטות קול, ומחזיר תשובות טקסט ישירות בחלון השיחה. לפי הקוד, הוא מתחבר לשירות Azure AI שמריץ את מודל Phi-4-multimodal ברקע, ולא טוען את המשקלים של המודל ישירות לתוך השרת של הדף.
בצד העמוד מופיעות דוגמאות מובנות שממחישות מה אפשר לעשות. בלשונית האודיו יש קטעי שמע לתמלול באנגלית ותרגום מיפנית לאנגלית. בלשונית התמונות יש דוגמה לכתיבת חמשיר על תמונה של מקדש ודוגמה להמרת צילום מסך של תרשים לטבלת מרקדאון, לצד דוגמאות טקסטואליות רגילות.
מתאים ל
- תמלול ותרגום אודיו
העלאת קובצי קול כדי להפיק תמלול מדויק או לתרגם הקלטות משפות כמו יפנית לאנגלית.
- חילוץ נתונים מתרשימים
שליחת צילום מסך של גרף כדי להמיר אותו ישירות למבנה של טבלת מרקדאון.
- ניתוח תמונות בטקסט
הזנת תמונה יחד עם הנחיה מילולית כדי לקבל תיאור, ניתוח תוכן או כתיבה יצירתית.
איפה זה נופל
הבעיה המיידית היא שההדגמה פשוט לא עובדת כרגע בגלל שגיאת ריצה. מעבר לזה, הממשק שולח בקשות לנקודת קצה של אז'ור, כך שהוא לא מלמד איך להריץ את המודל עצמאית.
בגלל שמדובר במעטפת סגורה, אין אפשרות לשנות פרמטרים כמו טמפרטורה או אורך פלט מקסימלי, אלא רק להזין קלט ולחכות לתשובה מהשרת המרוחק.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
הגישה דרך הדפדפן היא בחינם ואין צורך להזין פרטי תשלום. הממשק מתחבר לשרת ענן של מיקרוסופט, אך כרגע הוא ממילא במצב תקלה ולא מגיב לפניות.
מה קורה עם התמונות וההקלטות שמעלים?
הקבצים נשלחים לעיבוד בשרתי Azure AI שמריצים את המודל. הרישיון ותנאי הפרטיות לא פורטו בעמוד, ולכן עדיף לא להעלות מידע רגיש או קבצים פרטיים.
למה הדף לא מחזיר תשובה?
העמוד מדווח על שגיאת ריצה שמונעת מהקוד לפעול. כל עוד מיקרוסופט לא מעדכנים את הקוד או את החיבור לשרת, אי אפשר להפיק פלט.
האם אפשר להוריד את המודל למחשב מהדף הזה?
העמוד כולל רק את קוד הממשק שמתחבר לנקודת קצה חיצונית. הוא אינו מכיל את קובצי המודל עצמו או הוראות להרצה מקומית על החומרה שלכם.
איך משתמשים
לוחצים על אחת הדוגמאות המוכנות בצד או מקלידים בתיבת הקלט, ומצרפים קובץ שמע או תמונה. אין צורך בהרשמה או התחברות לחשבון כדי לראות את הממשק.
הדף מוגדר על שרת בסיסי של מעבד בלבד, אבל בפועל הוא במצב של שגיאת ריצה. כרגע אי אפשר לשלוח הודעות ולקבל תשובה עד שמיקרוסופט יתקנו את התקלה בעליית הקוד.
הרישיון
הרישיון של העמוד לא דווח בקוד או בהגדרות. במצב כזה אין הרשאה ברורה לשימוש מסחרי, ולא ידוע מה מדיניות שמירת הנתונים לגבי קבצים וטקסטים שנשלחים לשרתי אז'ור דרך הממשק.