joy-caption-alpha-two-vqa-test-one
רץ בדפדפןfancyfeastרישיון לא דווח2024-11-25
הדגמת מחקר שמאפשרת לשאול שאלות על תמונות בצ'אט. היא מיועדת בעיקר למפתחים שרוצים לבדוק ניסוי מוקדם של מודל ראייה ולא למי שמחפש כלי יציב.
- —הורדות בחודש
- 73לייקים
מה זה
אתם מעלים תמונה אחת ושואלים עליה שאלה בטקסט, והמערכת מחזירה תשובה כתובה בחלון שיחה. מתחת למכסה המנוע רץ המודל fancyfeast/llama-joycaption-alpha-two-vqa-test-1, שמבוסס על ארכיטקטורת Llava ונטען בפורמט bfloat16 ישירות דרך ספריית transformers.
היוצר מציין במפורש שהאימון כלל רק 600 דוגמאות של שאלות ותשובות והוראות. המטרה כאן היא בדיקת היתכנות ליכולות שיחה סביב תמונה, מעבר לתפקיד המקורי של המודל שהוא יצירת תיאורים רגילים, כך שלא מדובר בפתרון שלם אלא בהצצה לתהליך הפיתוח.
מתאים ל
- בדיקת יכולות המודל
בוחנים איך מודל שאומן על 600 דוגמאות בלבד מתמודד עם שאלות מורכבות על תמונות.
- ניסויי VQA ראשוניים
מריצים שאלות קצרות על תמונה כדי לראות מתי הוא עונה ומתי הוא נסוג לתיאור כללי.
- כוונון פרמטרים של ייצור
משחקים עם הסליידרים בממשק כדי לבדוק איך שינויי הגדרות משפיעים על פלט הטקסט.
איפה זה נופל
הכלי עצמו מוגדר על ידי המפתח כשבור, הפכפך וחלש מאוד בגלל היקף האימון הזעיר. במקום לענות על השאלה הספציפית ששאלתם, הוא נוטה לעיתים קרובות לחזור להתנהגות הבסיס שלו ופשוט לפלוט תיאור כללי של התמונה. אל תבנו עליו לחילוץ עובדות מדויקות או לשימוש באפליקציות אמיתיות.
שאלות
נפוצות
האם השימוש עולה כסף?
ההדגמה פתוחה לחלוטין לשימוש ישיר בדפדפן דרך Hugging Face Spaces. אין כאן דרישת תשלום או מנוי כדי לנסות אותה. היא נשענת על חומרת zero-a10g שמוקצית להרצה בלי לחייב אתכם.
האם התמונות והשאלות שלי נשמרות?
הממשק כולל תיבת סימון שמסומנת מראש ומאפשרת לשמור את שאילתת הטקסט כדי לשפר את הגרסאות הבאות. הקוד עצמו מקבל תמונה בודדת לעיבוד בזמן אמת. אם הפרטיות חשובה לכם, בטלו את הסימון בתיבה הזו לפני השליחה.
האם אפשר להריץ את המערכת על המחשב?
כן, המודל fancyfeast/llama-joycaption-alpha-two-vqa-test-1 זמין להורדה מ־Hugging Face ונטען באמצעות transformers. תצטרכו סביבת פייתון ותמיכה בכרטיס מסך כדי להריץ אותו מקומית. עם זאת, תצטרכו לכתוב את קוד ההרצה או להעתיק את מבנה ה־Gradio בעצמכם.
במה הדף הזה שונה מהמודל המקורי?
דף זה הוא רק ממשק ויזואלי שנבנה ב־Gradio כדי לתקשר עם המודל בצורת צ'אט. המודל שרץ בפנים הוא גרסה ניסיונית שעברה כוונון על 600 דוגמאות בלבד. הדף מאפשר לכם להזין פרמטרים ולראות את הפלט בזמן אמת בלי לכתוב שורת קוד.
איך משתמשים
גוררים תמונה אחת לתיבת הטקסט, מקלידים את השאלה ושולחים. הממשק מציע גם כוונון פרמטרים דרך סליידרים ותיבת סימון שמאפשרת לתעד את השאלה לצורכי שיפור. בצד החומרה מוקצה מעבד גרפי מסוג zero-a10g, שמספק כוח עיבוד של A10G רק בזמן יצירת התשובה, כך שהתשובה מוזרמת בדרך כלל תוך שניות בודדות.
הרישיון
הרישיון לא דווח בקוד או בפרטי המרחב. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או להפצה חוזרת, ומוטב להניח שכל הזכויות שמורות למפתח. בנוסף, יש בממשק תיבת סימון פעילה כברירת מחדל ששומרת את השאלות שלכם כדי לעזור בשיפור הפרויקט.