Isaac-0.1

מה זה

מדובר במודל שפותח על ידי יוצאי צוות Chameleon של מטא, ושוקל כמעט 2.6 מיליארד פרמטרים. במקום להסתפק רק בתיאור כללי של תמונה כמו מודלי שפה רגילים, הוא פותח במיוחד כדי לחבר בין טקסט למיקום פיזי. הוא מאתר רכיבים, מזהה הסתרות ויחסים בין חפצים, ומצביע על האזורים הרלוונטיים בתשובה שלו.

הייחוד כאן לעומת מודלים קטנים אחרים הוא היכולת ללמוד דוגמאות בתוך הפרומפט בלי אימון מחדש. במקום לאמן גלאי ייעודי לזיהוי פגמים או חריגות, מציגים לו כמה תמונות מוסברות והוא אמור להבין את העיקרון. בנוסף הוא כולל יכולות פענוח טקסט צפוף וקטן בתמונות מורכבות, עם חלון הקשר ארוך במיוחד של 40,960 טוקנים שמאפשר להזין רצף עמוס בפרטים.

מתאים ל

• איתור פגמים בייצור

  למידה מכמה דוגמאות בודדות בפרומפט מאפשרת לסמן תקלות וסדקים על גבי התמונה בלי לאמן מודל זיהוי מחדש.

• קריאת שלטים ותרשימים

  התמודדות עם טקסט קטן וצפוף ברזולוציות משתנות מתאימה לניתוח מסמכים טכניים ותמונות מהשטח.

• שאלות ותשובות עם הצבעה

  מתאים לממשקים שמחייבים ביסוס ויזואלי של התשובה וציון מדויק של מיקום העצם עליו מדברים.

איפה זה נופל

בכרטיס המודל אין פירוט של ציוני הבנצ'מרק במספרים אלא רק תמונות של גרפים, כך שקשה לדעת בדיוק מול מה הוא נמדד ואיפה הוא נכשל. הוא דורש הרצת קוד מרוחק ורכיבים חיצוניים מגיטהאב, מה שיוצר סיכון אבטחתי ומקשה על שילוב בסביבות עבודה מבודדות. בנוסף, חסר מידע על התנהגות בשפות שאינן אנגלית, ולכן אם תתנו לו תמונות עם עברית תצטרכו לבדוק בעצמכם אם הוא מסוגל לקרוא אותן בכלל.

איך מריצים

המודל שוקל 9.6 גיגה-בייט ומחולק ל־17 קבצים. כדי להריץ אותו דרך transformers צריך כרטיס מסך עם לפחות 16 גיגה זיכרון כדי לעבוד בצורה נוחה, במיוחד כשטוענים תמונות ברזולוציה גבוהה ומשתמשים בהקשר ארוך.

הקוד דורש שימוש ב־trust_remote_code לצד קבצים מותאמים ממאגר הגיטהאב שלהם וחבילת perceptron, כך שזו לא הטמעה חלקה ישר מהקופסה. אם צריך רק בדיקות מהירות בלי לנהל תלויות קוד מקומיות וכרטיס ייעודי, עדיף להשתמש בדמו המקוון שהם מספקים באתר.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="PerceptronAI/Isaac-0.1")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 9.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors10.3 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• modular_isaac.py85.4 KB
• model.safetensors.index.json71.8 KB
• LICENSE.txt12.0 KB
• tokenizer_config.json5.5 KB
• config.json4.2 KB
• chat_template.jinja4.2 KB
• README.md3.2 KB
• .gitattributes1.6 KB
• processor_config.json930 B
• added_tokens.json707 B
• special_tokens_map.json613 B
• preprocessor_config.json211 B
• generation_config.json121 B

הרישיון

הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד עם מתן קרדיט ליוצרים. אסור להשתמש במודל הזה בשום מוצר מסחרי, שירות בתשלום או פעילות עסקית. אם המטרה היא הטמעה באפליקציה פנימית של חברה או מכירה ללקוחות, הרישיון הזה פוסל אותו מיד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗