fuyu-8b

מה זה

במקום להשתמש במקודד תמונה ייעודי כמו רוב המודלים המולטימודליים, פויו לוקח חלקי תמונה ומקרין אותם לינארית ישירות לשכבה הראשונה של הטרנספורמר. המבנה הזה מאפשר לו לקבל תמונות בכל רזולוציה בלי שלבי אימון נפרדים לגדלים שונים, כשהוא מתייחס לטוקנים של תמונה ממש כמו רצף טקסט רגיל.

המטרה המקורית שלו היא הבנת ממשקי משתמש, דיאגרמות וגרפים עבור סוכנים אוטונומיים. במבחני ביצועים סטנדרטיים הוא מגיע לתוצאה של 74.2 ב־VQAv2 ו־64.5 ב־AI2D, מה שמציב אותו קרוב למודלים ייעודיים לגודל הזה, אך נמוך ממודלים גדולים יותר כמו פאלי-אקס.

מתאים ל

• סוכנים דיגיטליים

  הבנת צילומי מסך ומיקום אלמנטים גרפיים בממשקי תוכנה לצורך אוטומציה.

• ניתוח גרפים ותרשימים

  מענה על שאלות מתוך דיאגרמות ואינפוגרפיקות ברזולוציה גמישה.

• מחקר ארכיטקטורות ראייה

  בדיקת ביצועים של מודלים מולטימודליים ללא מקודד תמונה ייעודי.

איפה זה נופל

זהו מודל בסיס לא מכויל. היוצרים מבהירים במפורש שהוא לא כולל שכבות סינון, עיבוד פוסט או התאמה לצ'אט, ולכן הוא נוטה לפלוט מידע שגוי ולא עובדתי על אנשים ואירועים. זיהוי פנים וייצוג אנשים לוקה בחסר, ובשביל שיחות טבעיות או תיאורים מפורטים חייבים לבצע לו כיוונון עדין.

איך מריצים

המשקלים תופסים 17.5 ג'יגה בייט בפורמט bfloat16 על פני 17 קבצים. כדי להריץ אותו דרך ספריית transformers של פייתון תצטרכו כרטיס מסך עם לפחות 24 ג'יגה בייט של זיכרון וידאו, למשל RTX 3090 או A10, במיוחד אם תרצו לנצל את חלון ההקשר המלא שמגיע ל־16,384 טוקנים.

היוצרים מציינים זמני תגובה של פחות מ־100 מילישניות לתמונות גדולות. אם אין לכם חומרה ייעודית כזו בענן או מקומית, עדיף להשתמש בפתרון מנוהל, שכן הרצה על מעבד רגיל תהיה איטית מדי לשימוש מעשי.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="adept/fuyu-8b")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 17.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors9.9 GB
• model-00002-of-00002.safetensors8.9 GB
• tokenizer.json16.5 MB
• tokenizer.model6.1 MB
• skateboard.png594.6 KB
• bus.png563.8 KB
• architecture.png175.0 KB
• chart.png124.2 KB
• model.safetensors.index.json58.2 KB
• README.md7.0 KB
• .gitattributes1.8 KB
• tokenizer_config.json848 B
• config.json768 B
• preprocessor_config.json192 B
• special_tokens_map.json156 B
• generation_config.json120 B
• added_tokens.json27 B

הרישיון

המודל שוחרר ברישיון cc-by-nc-4.0. המשמעות פשוטה: מותר להשתמש בו אך ורק למחקר, בדיקות וניסויים פנימיים. חל איסור מוחלט לשלב אותו במוצר מסחרי, למכור גישה אליו או להפיק ממנו רווח כספי ישיר.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗