nanoLLaVA — הדגמה
קוד פתוחqnguyen3apache-2.02024-04-08
מעלים תמונה, שואלים עליה שאלות בצ'אט ומקבלים תשובות בטקסט רציף. זה מיועד למי שרוצה לבדוק מודל ראייה קטן במיוחד ישירות בדפדפן בלי להגדיר שרת.
- 1.1Bפרמטרים
- 32,768טוקנים בהקשר
- 2.0 GBמשקל הקבצים
- —הורדות בחודש
מה זה
אתם מעלים קובץ תמונה וכותבים שאלה או הנחיה בתיבת השיחה, ומקבלים מענה טקסטואלי שמוזרם בזמן אמת. בדוגמאות המוכנות מראש בממשק יש תמונה בשם demo_1.jpg עם השאלה Who is this guy, שמדגימה זיהוי תוכן בסיסי מתוך צילום.
מאחורי הקלעים רץ nanoLLaVA-1.5, שמשלב בין מודל הראייה SigLIP של גוגל לבין מודל השפה Quyen-SE-v0.1 שמבוסס על Qwen1.5-0.5B. החיבור הזה מאפשר למודל שפה זעיר של כחצי מיליארד פרמטרים לעבד תמונות שמקודדות דרך SigLIP, ולענות עליהן באנגלית בלי לדרוש משאבי מחשוב כבדים.
מתאים ל
- זיהוי אלמנטים בתמונה
מעלים צילום ושואלים מי או מה מופיע בו כדי לקבל תיאור ישיר של האובייקטים המרכזיים.
- בדיקת יכולות למודל קל
בוחנים איך מודל ראייה זעיר מתמודד עם שאלות באנגלית לפני שמחליטים להוריד ולהריץ אותו מקומית.
- חילוץ הקשר מתמונות
שואלים שאלות ממוקדות על פרטים בתוך התמונה במקום לקרוא תיאור כללי וארוך.
איפה זה נופל
חובה להעלות תמונה כדי שהממשק יפעל, ואם שולחים הודעת טקסט בלבד מקבלים שגיאה מפורשת. המודל בנוי על גרסת שפה של 0.5B בלבד, כך שלא כדאי לצפות לניתוחים מורכבים מדי, חשיבה לוגית עמוקה או תמיכה טובה בעברית.
שאלות
נפוצות
האם השימוש עולה כסף?
לא, הגישה לממשק דרך הדפדפן היא בחינם לחלוטין. אין צורך להזין אמצעי תשלום.
למה מקבלים שגיאה כששולחים רק טקסט?
הקוד דורש קובץ תמונה בכל פנייה. אם תנסו להתכתב איתו כמו צ'אט רגיל בלי לצרף תמונה, המערכת תציג שגיאה ולא תענה.
כמה זמן לוקח לקבל תשובה?
האפליקציה נמצאת במצב שינה כרגע, ולכן הפנייה הראשונה תדרוש המתנה קצרה עד שהחומרה תתעורר. לאחר מכן התשובות זורמות מהר בזכות מודל השפה הקטן וכרטיס ה־A10G.
אפשר להריץ את זה על מחשב אישי?
כן, המודל nanoLLaVA-1.5 והרכיבים שלו זמינים להורדה תחת רישיון קוד פתוח. בגלל הגודל הקומפקטי שלו, קל להריץ אותו גם על חומרה מקומית צנועה.
איך מריצים
טוענים תמונה לחלון הצ'אט, מקלידים שאלה ושולחים. הממשק מבוסס על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, אבל בגלל שהספייס במצב שינה, ההפעלה הראשונה תיקח קצת זמן עד שהחומרה תתעורר. התשובות מוזרמות בהדרגה ברגע שהעיבוד מתחיל, ואין צורך בהרשמה או התחברות כדי לנסות.
pip install -U huggingface_hub hf download qnguyen3/nanoLLaVA
הקבצים
14 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- model.safetensors2.1 GB
- tokenizer.json7.0 MB
- vocab.json2.8 MB
- merges.txt1.7 MB
- example_1.png200.1 KB
- modeling_llava_qwen2.py102.6 KB
- configuration_llava_qwen2.py8.9 KB
- README.md3.7 KB
- .gitattributes1.5 KB
- tokenizer_config.json1.3 KB
- config.json1.3 KB
- special_tokens_map.json510 B
- generation_config.json172 B
- added_tokens.json80 B
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי הקוד והפצה. התמונות והטקסט שאתם מעלים מעובדים בסביבת Hugging Face שבה האפליקציה מאוחסנת.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים