llava-4bit
רץ בדפדפןllava-hfapache-2.02023-12-07
העלאת תמונה ושיחה עליה באמצעות גרסה מכווצת של LLaVA ישירות בדפדפן. מתאים למי שרוצה לבדוק יכולות ראייה ממוחשבת בסיסיות בלי להרים שרת.
- —הורדות בחודש
- 60לייקים
מה זה
אתם מעלים תמונה, מקלידים שאלה בתיבת הטקסט ומקבלים תשובה בצ'אט. הממשק מציג דוגמאות מובנות כמו תמונה של בקלאווה עם השאלה איך מכינים אותה, או צילום של דבורה עם בקשה לתיאור כללי של מה שרואים.
מאחורי הקלעים רץ המודל llava-1.5-7b-hf דרך ספריית transformers של פייתון, בתוך צינור מסוג image-to-text. כדי לחסוך זיכרון ולרוץ על כרטיסים חלשים, הקוד משתמש בכימוס של 4 ביט דרך BitsAndBytes, מה שמוריד את דרישות החומרה אבל עלול לגרור ירידה מסוימת בדיוק בהשוואה למודל המלא.
מתאים ל
- פירוק מתכונים מתמונה
מעלים צילום של מנה ומבקשים זיהוי של המרכיבים ואופן ההכנה, כמו בדוגמת הבקלאווה המובנית.
- תיאור תוכן חזותי
מעלים תמונה ומבקשים פירוט בטקסט של מה שרואים בפריים, בדומה לדוגמת הדבורה.
- בדיקת פרמטרים של כימוס
משנים את מדדי הטמפרטורה והחזרתיות בהגדרות כדי לראות איך מודל 4 ביט מגיב לתמונות שונות.
איפה זה נופל
המגבלה הכי בולטת היא שהאפליקציה כרגע במצב מושהה ולא פעילה ברשת. מעבר לזה, הקוד מחייב להזין גם תמונה וגם טקסט, ואם אחד מהם חסר הוא זורק אזהרה ולא מייצר מענה. מודל מכווץ ב־4 ביט עלול לפספס פרטים קטנים בתמונות מורכבות או להמציא עובדות בטקסט.
שאלות
נפוצות
למה האפליקציה לא עונה כשאני שולח שאלה?
האפליקציה מוגדרת כרגע במצב PAUSED על ידי מי שהעלה אותה. כל עוד היא מושהית, השרת של הדמו לא רץ ולא מעבד פניות חדשות.
האם אפשר להריץ את המודל הזה על המחשב שלי?
כן. הקוד משתמש בספריית transformers הרגילה עם BitsAndBytesConfig עבור 4 ביט, כך שאפשר להוריד את הקוד ואת המודל llava-hf/llava-1.5-7b-hf ולהריץ מקומית עם כרטיס מסך תומך.
מה ההבדל בין ההדגמה הזו למודל LLaVA המקורי?
כאן המודל רץ בכימוס של 4 ביט במקום דיוק מלא, במטרה לאפשר ריצה על כרטיס t4-medium פשוט. זה חוסך זיכרון ומאפשר שימוש בחומרה זולה, אבל עשוי לפגוע מעט באיכות התשובות.
איך משתמשים
לוחצים על Submit אחרי שמעלים תמונה וכותבים טקסט, ואפשר לעצור את הפלט בכל רגע עם כפתור Stop Generation. בהגדרות המתקדמות אפשר לשחק עם מדדים כמו טמפרטורה, אורך מקסימלי וענישה על חזרתיות. המערכת הוגדרה על גבי מעבד גרפי t4-medium, אבל כרגע הדף במצב מושהה (PAUSED), כך שלא ניתן להריץ עליו שאילתות בפועל בלי להפעיל אותו מחדש.
הרישיון
הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. לגבי התמונות והטקסט שאתם מעלים, התנאים תלויים במדיניות האחסון הכללית של Hugging Face Spaces.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים