llama-3.2-vision-11B

מה זה

מדובר בממשק צ'אט שמקבל קובץ תמונה ושאלה כתובה, ומחזיר תשובות מפורטות בטקסט זורם. אתם זורקים פנימה תרשים, צילום או מסמך, והוא מפענח מה מופיע שם ועונה לפי ההקשר שבחרתם.

מאחורי הקלעים רץ המודל Llama-3.2-11B-Vision-Instruct של מטא דרך ספריית transformers. הקוד מבוסס על MllamaForConditionalGeneration ומעבד את התמונה והטקסט יחד כדי לייצר תשובות ישירות.

בדוגמאות המוכנות מראש אפשר לראות בדיקה של תקופות אמנות מציור, שליפת נתונים מתרשים מזג אוויר, הבנת שרשרת מזון מאיור, חישוב ימים לפי חשבונית וזיהוי אתרים היסטוריים. זה מראה בדיוק את מנעד השימושים המיועד, מחילוץ מידע יבש ועד ניתוח ויזואלי מורכב.

מתאים ל

• חילוץ נתונים מחשבוניות

  מעלים סריקה של חשבונית כדי לחשב זמני תשלום או לשלוף תאריכים בלי להקליד ידנית.

• ניתוח תרשימים וגרפים

  מזינים איור או דיאגרמה ושואלים איפה מופיעים נתונים חריגים או מה השינויים שמוצגים בהם.

• זיהוי אתרים ויצירות

  מעלים צילום של מונומנט או יצירת אמנות כדי לברר את ההיסטוריה והמיקום שלהם.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת כרגע בגלל תקלת ריצה. מעבר לזה, הדוגמאות המוכנות מראש לא נשמרות במטמון ומורצות מחדש, מה שדורש חישוב מלא בכל פעם. המודל עצמו מוגבל ביכולות של 11 מיליארד פרמטרים, כך שלא כדאי להסתמך עליו בעיניים עצומות לניתוח מסמכים רגישים בלי לוודא את הנתונים.

איך משתמשים

לוחצים על תיבת הטקסט, מצרפים תמונה דרך הממשק או בוחרים באחת הדוגמאות, ושולחים את השאלה. התשובה מגיעה בהזרמה בזמן אמת דרך שרשור נפרד בקוד.

כרגע ההדגמה תקועה במצב שגיאת ריצה, ולכן אי אפשר להשתמש בה בפועל עד שיתקנו אותה. ברגיל היא מוגדרת לרוץ על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שאומר שלפעמים יש המתנה קצרה לעליית השרת.

הרישיון

הקוד של היישום מופץ ברישיון קוד פתוח apache-2.0, שמאפשר שימוש חופשי ושינוי. לגבי הקבצים שאתם מעלים, הם נשלחים ישירות לממשק כדי לעבד את השאילתה, אך המערכת לא מפרטת מעבר לכך שמירה מיוחדת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗