granite-vision-demo

מה זה

אתם מזינים קבצים חזותיים וכותבים שאלות בשפה חופשית, והממשק מחזיר תשובות שמסתמכות על המידע שנשלף מתוכם. ההדגמה מדגימה תהליך RAG מולטימודלי מלא, שבו התוכן נסרק, מקודד ומשמש בסיס לתשובה מנומקת.

מאחורי הקלעים רצה שרשרת מודלים של גרניט. מודלי הראייה granite-vision-3.1-2b-preview או granite-vision-3.2-2b מנתחים את התמונות, מודלי שיקוע כמו granite-embedding-125m-english וגרסת 278m הרב-לשונית אחראים על השליפה, ומודל granite-3.1-8b-instruct מייצר את הטקסט הסופי. הקוד כולל הדגמת RAG מלאה וגם ממשק שאלות ותשובות ישיר.

מתאים ל

• שאלות על תרשימים

  מעלים צילומי מסך של גרפים ושואלים שאלות ממוקדות על הנתונים שמוצגים בהם.

• בדיקת מודלי גרניט

  בוחנים את איכות השליפה של מודלי הראייה והשיקוע של יבמ מול מסמכים אמיתיים.

• התנסות ב־RAG מולטימודלי

  רואים איך שילוב של מודל תמונה, שיקוע ומודל שפה עובד יחד בפועל לפני פיתוח עצמאי.

איפה זה נופל

זו הדגמת יכולת ולא מוצר חיפוש ארגוני. המודלים שרצים כאן קטנים יחסית, סביב שניים ושמונה מיליארד פרמטרים, כך שהם עלולים לפספס פרטים קטנים בתרשימים מורכבים או להמציא עובדות בשאלות עמוקות מדי. בנוסף, אין כאן ניהול של מסדי נתונים גדולים, וכל בדיקה מוגבלת רק למה שהזנתם באותו רגע לממשק.

איך משתמשים

נכנסים לממשק הגראדיו בדפדפן בלי צורך בהרשמה או התחברות. בוחרים את המצב הרצוי, מעלים קובץ ושולחים שאלה לתיבת הטקסט.

האפליקציה רצה על חומרת zero-a10g, מה שאומר שהיא מתעוררת לפי דרישה. אם היא ישנה, תצטרכו להמתין כמה רגעים להפעלה, אבל מרגע שהיא באוויר המעבד הגרפי מריץ את המודלים הקטנים במהירות סבירה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמתיר שימוש חופשי, כולל מסחרי ושינוי קוד. הקבצים שאתם מעלים עוברים דרך שרתי המארח לצורך העיבוד בהדגמה הציבורית, ולכן לא מומלץ להזין שם חומרים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗