mc-llava-3b

מה זה

אתם מעלים תמונה בפורמט רגיל, כותבים שאלה או הנחיה בתיבת הטקסט, ומקבלים תשובה כתובה שמוזרמת ישירות למסך. הקוד טוען את המודל visheratin/MC-LLaVA-3b ברמת דיוק של float16 ומריץ אותו על גבי מעבד גרפי. היישום לא מציג דוגמאות מובנות מראש בממשק, כך שתצטרכו להביא קבצים משלכם כדי להתחיל לעבוד.

מתחת למכסה המנוע יש שליטה בכמה פרמטרים טכניים של המודל. אפשר לקבוע את כמות החיתוכים של התמונה עם מחוון שנע בין 0 ל־200, ולכוון את מספר הטוקנים של התמונה מ־728 עד 2184. בנוסף, הממשק מאפשר להפעיל דגימה אקראית, לכוונן טמפרטורה מאפס עד אחד, ולשנות את ערך top k כדי לקבל תשובות מגוונות או מדויקות יותר.

מתאים ל

• תיאור תמונות כללי

  מעלים תמונה ומבקשים פירוט טקסטואלי על מה שמופיע בה באופן ישיר.

• מענה לשאלות על תוכן

  שואלים שאלה ספציפית לגבי עצמים, צבעים או מיקומים של פריטים בצילום.

• בדיקת פרמטרי עיבוד תמונה

  משנים את כמות הטוקנים והחיתוכים כדי לראות איך הדיוק של המודל משתנה.

איפה זה נופל

מודל בגודל שלושה מיליארד פרמטרים מוגבל בהבנת פרטים מורכבים ועדינים בהשוואה למודלי ענק, והוא עלול לפספס טקסטים זעירים או הקשרים סבוכים בתמונה. בנוסף, חומרת שיתוף דינמית עלולה להכניס אתכם לתור זמני כשיש עומס, והגדלת כמות החיתוכים ומספר הטוקנים תאט את זמן התגובה באופן מורגש.

איך משתמשים

גוררים תמונה למשבצת הייעודית, מקלידים שאלה, ולוחצים על כפתור השליחה. הריצה מתבצעת על חומרת zero-a10g שמקצה כרטיס מסך בעת הצורך, ולכן ייתכן שתמתינו כמה שניות אם המערכת צריכה להתעורר. התשובה מגיעה בהזרמת טקסט חיה דרך מעבד ייעודי, ללא צורך בהרשמה או התחברות לחשבון.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי בקוד כולל שינוי והפצה. התמונות שאתם מעלים והתשובות שנוצרות מעובדות ישירות על השרת המארח, בלי התחייבות לפרטיות מיוחדת מעבר לתנאי השימוש הרגילים של הסביבה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗