bakLlava-v1-hf

מה זה

הארכיטקטורה לוקחת את מנגנון הראייה של לאווה ומלבישה אותו ישירות על גבי מודל השפה מיסטרל. במקום להישען על בסיס ישן ואיטי יותר, החיבור הזה מאפשר להבין תמונות מורכבות ולענות על שאלות חזותיות ברמת דיוק גבוהה. לפי נתוני המפתחים, השילוב הספציפי הזה מצליח לעקוף מודלים מבוססי לאמה שתיים בגודל של שלושה עשר מיליארד פרמטרים בחלק ממבחני הביצועים, למרות שהוא שומר על גודל קומפקטי בהרבה.

המערכת יודעת לקבל כמה תמונות ברצף בתוך אותה שיחה, לנתח דיאגרמות, לקרוא טקסט מתוך שלטים ולענות על שאלות רב ברירה בהתבסס על תוכן חזותי. האימון התבסס על מאות אלפי דוגמאות משולבות של תמונה וטקסט, כולל נתוני הוראות שנוצרו על ידי בינה מלאכותית ומאגרי שאלות ותשובות אקדמיים. היתרון המעשי כאן הוא חלון הקשר נדיב שמאפשר לשלוח היסטוריית שיחה ארוכה בלי לאבד את ההקשר של התמונות הראשונות.

מתאים ל

• ניתוח תרשימים ודיאגרמות

  חילוץ תשובות ישירות מתוך איורים מדעיים או שאלות רב ברירה באנגלית.

• השוואה בין מספר תמונות

  שליחת רצף של קבצים באותה הנחיה כדי לזהות הבדלים ושינויים ביניהם.

• פיתוח פנימי ובדיקת היתכנות

  בחינת יכולות מולטימודליות על גבי תשתית מיסטרל ללא עלויות תשתית כבדות.

איפה זה נופל

הבעיה המרכזית נמצאת בדאטה שבו השתמשו לאימון. המפתחים עצמם מודים שהם אימנו את המודל על נתונים שכוללים את המאגר של לאווה, שאינו חופשי לשימוש מסחרי. מעבר לזה, המודל אומן רק באנגלית. אל תצפו ממנו לקרוא עברית מתוך תמונות או לנהל שיחה תקינה בשפה המקומית, וכל ניסיון לעשות זאת ייגמר בתשובות שבורות או בהזיות מוחלטות.

איך מריצים

אתם צריכים כרטיס מסך עם תמיכה בקיודה וספריית טרנספורמרס מעודכנת. המודל שוקל כמעט חמישה עשר גיגה בייט בדיוק המקורי, ולכן הרצה בציפה מלאה תדרוש כרטיס מקצועי יקר עם לפחות שישה עשר עד עשרים גיגה זיכרון גרפי פנוי רק למשקלים עצמם.

כדי לעבוד על חומרה ביתית סבירה או בסביבות פיתוח חינמיות, עדיף לטעון אותו בכימות של ארבעה ביטים דרך ביטס אנד בייטס, או לחלופין להפעיל פלאש אטנשן שתיים כדי לקצר זמני תגובה. אם אין לכם גישה למעבד גרפי ייעודי של לפחות שמונה גיגה לגרסה המכומתת, אין טעם לנסות להריץ מקומית, ועדיף להשתמש בסביבות ענן מוכנות.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="llava-hf/bakLlava-v1-hf")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 14.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00004.safetensors5.0 GB
• model-00003-of-00004.safetensors4.9 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors933.8 MB
• tokenizer.json3.5 MB
• tokenizer.model493.4 KB
• model.safetensors.index.json70.1 KB
• README.md6.4 KB
• tokenizer_config.json1.5 KB
• .gitattributes1.5 KB
• config.json1.0 KB
• chat_template.json589 B
• special_tokens_map.json552 B
• preprocessor_config.json505 B
• processor_config.json173 B
• generation_config.json141 B
• added_tokens.json41 B

הרישיון

הרישיון המדווח הוא רישיון הקהילה של לאמה שתיים, אבל דף המודל מציין במפורש שהנתונים ששימשו לאימון כוללים חומרים שאינם מורשים לשימוש מסחרי. המשמעות ברורה. אסור לשלב את המודל הזה במוצר מסחרי שנמכר ללקוחות, והוא מתאים כרגע אך ורק למחקר, לפיתוח פנימי או לניסויים אישיים.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗