merve/chameleon-7b

מה זה

מעלים תמונה אחת או יותר לתיבת השיחה, מקלידים שאלה או הנחיה בטקסט, ומקבלים תשובה מילולית שמנתחת את מה שרואים. הממשק כולל דוגמאות מובנות שאפשר להפעיל בלחיצה כדי לבדוק איך הוא מגיב לשאלות על תוכן ויזואלי.

מאחורי הקלעים רץ המודל facebook/chameleon-7b של מטא, בטעינה של 16 ביט באמצעות ספריית transformers של Hugging Face. למרות שהכותרת בעמוד מזכירה 30b, הקוד בפועל טוען את גרסת ה־7B הקטנה יותר, כך שכל התשובות והניתוחים מגיעים ישירות ממנה ומחולצים בזרימה של טקסט.

מתאים ל

• ניתוח תמונות בשיחה

  מעלים תמונה ושואלים שאלות ממוקדות על מה שמופיע בה כדי לקבל פירוט טקסטואלי.

• השוואה בין מספר קבצים

  צירוף כמה תמונות יחד לתיבת הטקסט ובקשה לזהות הבדלים או קשרים ביניהן.

• בדיקת יכולות המודל

  הרצת הדוגמאות המוכנות כדי להתרשם מהדיוק של גרסת השבעה מיליארד של מטא.

איפה זה נופל

הבעיה הגדולה ביותר היא שהאפליקציה נמצאת במצב שגיאת ריצה ולא עובדת. בנוסף, חובה להעלות תמונה בכל פנייה, שכן הקוד מקפיץ שגיאה מפורשת אם מנסים לשלוח טקסט בלבד.

קיימת גם אי התאמה מבלבלת בין כותרת הדף שמבטיחה מודל של שלושים מיליארד פרמטרים לבין הקוד שטוען בפועל את גרסת השבעה מיליארד, לצד הודעת שגיאה שמזכירה בטעות מודל אחר לגמרי בשם LLaVA.

איך משתמשים

בממשק יש תיבת שיחה רב-מודאלית שבה גוררים קבצי תמונות, כותבים שאלה ולוחצים על שליחה. התשובה מגיעה כהזרמת טקסט מדורגת, ובקוד מוגדר שימוש במעבד גרפי מסוג zero-a10g שמקצה כוח חישוב לפי דרישה ללא תשלום או צורך בהרשמה.

עם זאת, כרגע הדף מדווח על שגיאת ריצה כללית, כך שסביר להניח שהשרת פשוט קורס בעלייה ולא מגיב לפניות עד שהיוצר יתקן את הקוד או את התלויות שלו.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ובדיקה של הקוד. המידע והתמונות שאתם מעלים מועברים לעיבוד בתשתית הענן של Hugging Face כדי לייצר את התשובה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗