one-align

מה זה

במקום להחזיר תיאור טקסטואלי של תמונה, המודל הזה מתמקד במתן ציון מספרי לאיכות ולאסתטיקה. הוא מבוסס על ארכיטקטורת mPLUG-Owl2 עם שכבות Llama, ומאחד שלוש משימות שונות של הערכה: איכות תמונה טכנית, איכות אסתטית והערכת וידאו, תחת מודל יחיד.

התוצאות במבחנים מראות מתאם גבוה לשיפוט אנושי. במבחן AGIQA שמודד תוכן שנוצר בבינה מלאכותית הוא מגיע למתאם ספירמן של 0.801, ובמבחן האסתטיקה AVA הוא מוביל עם 0.823. המספרים האלה אומרים שהדירוג שלו עקבי מאוד ביחס לעין אנושית, גם על תמונות ומאגרים שלא נכללו באימון המקורי.

מתאים ל

• סינון תמונות באיכות ירודה

  זיהוי תמונות מטושטשות או פגומות שהועלו על ידי משתמשים לפי ציון סף מוגדר.

• דירוג אסתטי לגלריות

  בחירת התמונה המובילה מתוך סדרה באמצעות משימת האסתטיקה המובנית במודל.

• בקרת איכות לתוכן גנרטיבי

  הערכת תמונות שנוצרו במודלי תמונה כדי לפסול תוצאות בעלות עיוותים טכניים.

איפה זה נופל

המודל מחזיר רק ציון מספרי בטווח של 1 עד 5, בלי שום הסבר למה התמונה קיבלה ציון נמוך, למשל טשטוש, רעש דיגיטלי או קומפוזיציה רעה. חלון ההקשר מוגבל ל־2,048 טוקנים, ואין כאן יכולת שיחה או מענה על שאלות כלליות. בנוסף, חובה לאפשר הרצת קוד מרוחק כדי להשתמש בו, מה שיוצר סיכון אבטחה שחייבים לבדוק בארגון לפני שמשלבים אותו במערכת ייצור.

איך מריצים

טוענים אותו ישירות דרך ספריית transformers עם גרסה 4.36.1, ומשתמשים בפונקציה מובנית שנקראת score כדי לקבל את הציון. הקבצים שוקלים 15.3 גיגהבייט בדיוק bfloat16, כך שתצטרכו כרטיס מסך עם לפחות 16 עד 24 גיגהבייט זיכרון כדי להעלות אותו בבטחה ב־float16.

הרצה מקומית דורשת הפעלה של trust_remote_code בזמן הטעינה, מה שאומר שהקוד של המודל רץ ישירות מהמאגר. אם אתם מעבדים אלפי תמונות ביום בצינור עיבוד פנימי, כדאי להרים אותו על שרת ייעודי, אבל עבור בדיקות נקודתיות המשקל והתלויות עלולים להכביד.

from transformers import pipeline

pipe = pipeline("zero-shot-image-classification", model="q-future/one-align")
print(pipe("שלום"))

הקבצים

19 קבצים במאגר, 15.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin6.4 GB
• tokenizer.model499.7 KB
• trainer_state.json272.0 KB
• pytorch_model.bin.index.json87.8 KB
• visual_encoder.py38.1 KB
• modeling_llama2.py36.7 KB
• modeling_mplug_owl2.py20.3 KB
• configuration_mplug_owl2.py15.6 KB
• modeling_attn_mask_utils.py14.7 KB
• training_args.bin5.8 KB
• config.json5.6 KB
• README.md3.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json749 B
• special_tokens_map.json438 B
• preprocessor_config.json317 B
• generation_config.json162 B
• __init__.py112 B

הרישיון

הרישיון הוא MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗