Emu3
רץ בדפדפןBAAIרישיון לא דווח2024-09-27
ממשק שיחה שמשלב טקסט ותמונות ומיועד למי שרוצה לבדוק יכולות של ראייה ממוחשבת ויצירה. הוא מקבל הנחיות ותמונות ומחזיר תגובות בצ'אט.
- —הורדות בחודש
- 80לייקים
מה זה
אתם מעלים תמונה לתוך שדה ייעודי, מקלידים הנחיה בתיבת הטקסט ומקבלים תגובה ישירות בתוך חלון הצ'אט שמולכם. הממשק בנוי על גבי Gradio ומחלק את המסך בין אזור הקלט שלכם לבין תצוגת ההיסטוריה של השיחה.
מאחורי הקלעים הקוד מנסה לחבר כמה רכיבים שונים שפורסמו יחד בספטמבר 2024. הוא משתמש במודל שיחה ייעודי BAAI/Emu3-Chat, במודל יצירה BAAI/Emu3-Gen, וכן במודל בשם Emu3-VisionTokenizer שאחראי על קידוד התמונות בעזרת עיבוד מיוחד של המפתחים.
המטרה כאן היא לאפשר אינטראקציה רב מודלית מלאה במקום אחד, שבו הקלט החזותי והטקסטואלי מתחברים לאותו רצף עיבוד.
מתאים ל
- ניתוח תמונות בשיחה
שואלים שאלות על תמונה שמעלים ומקבלים ניתוח טקסטואלי בתוך חלון הצ'אט.
- בדיקת יכולות המודל
בוחנים איך הארכיטקטורה של Emu3 מתמודדת עם שילוב בין טקסט לראייה ממוחשבת.
- הערכת תגובות מולטימודליות
מזינים הנחיות מורכבות כדי לראות אם מודל השיחה מבין את ההקשר החזותי.
איפה זה נופל
הבעיה המיידית והגדולה ביותר היא שהאפליקציה פשוט לא עובדת. המצב שלה מוגדר כרגע כשגיאת בנייה, כך שאי אפשר להזין נתונים, לקבל פלטים או לבדוק מה המודל שווה בזמן אמת.
מעבר לזה, הקוד טוען מודלים עם הרשאות קוד מרוחק ומסתמך על חבילות מקומיות כמו emu3, מה שיוצר תלות כבדה בקונפיגורציה מדויקת. אי אפשר לדעת מהממשק אם יש כאן תמיכה טובה בעברית, ולפני שמסתמכים על המודלים האלה לפרויקט אמיתי צריך לבדוק אותם ישירות בסביבה מקומית ולא דרך ההדגמה הזאת.
שאלות
נפוצות
האם האפליקציה זמינה כרגע לשימוש בחינם?
הדף עצמו ציבורי ופתוח לכולם, אבל בפועל היא בכלל לא עולה. היא נמצאת במצב של תקלת בנייה בדוקר ולכן לא ניתן להריץ עליה שאילתות.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד הציבורי מבוסס על ספריות פייתון וטרנספורמרס של האגינג פייס. תצטרכו להתקין את התלויות בעצמכם, להוריד את המשקלים של המודלים ולהחזיק חומרה מתאימה להרצה.
מה קורה עם התמונות והטקסט שמעלים לממשק?
הקלט נשלח ישירות לסביבת הריצה של האפליקציה לצורך עיבוד בזיכרון המודלים. עם זאת, מכיוון שאין רישיון מוגדר, לא ידוע מה תנאי השימוש הרשמיים במידע שנשלח לשם.
איך משתמשים
בפועל, השימוש היה אמור להיות פשוט. גוררים תמונה לקלט, כותבים מה שרוצים לדעת ולוחצים על Send. המערכת מוגדרת לרוץ על מעבד גרפי יחיד מדגם l40sx1, מה שאמור לתת זמני תגובה סבירים ביותר למודלים בסדר גודל כזה בלי לחכות דקות ארוכות לכל פלט.
אבל כרגע אין דרך ללחוץ על כלום בדפדפן. ההדגמה תקועה בשגיאת בנייה בתוך הקונטיינר של דוקר, כך שהיא בכלל לא עולה ולא מקבלת בקשות של משתמשים.
הרישיון
הרישיון של המרחב לא דווח במאגר. כשאין רישיון מוגדר, אין לכם אישור רשמי לשימוש מסחרי בקוד או בהדגמה, והזכויות על התוכן שתעלו או שיקודד עלולות להיות לא ברורות מבחינה משפטית.