Florence-2-large-PromptGen-v2.0

מה זה

הגרסה הזו לוקחת את הארכיטקטורה של מיקרוסופט ומכוונת אותה כולה לייצור תיאורים ותגיות בסגנון דנבורו. במקום לעבוד עם כמה כלים נפרדים כדי להוציא תיאור טבעי ותגיות מופרדות בפסיקים, הוא עושה את זה במכה אחת. הוא מותאם במיוחד לספק את הטקסט שדרוש למקודדים של פלוקס, גם לטי חמש וגם לקליפ אל, בהרצה בודדת.

היתרון המרכזי מול מודלי ראייה גדולים הוא המהירות וצריכת המשאבים. הוא לא מתיימר לנהל שיחה פילוסופית על התמונה, אלא לפרק את הקומפוזיציה, לזהות מיקומים של אובייקטים ולפלוט טקסט מובנה שהמודלים של התמונות מבינים היטב.

מתאים ל

• תיוג תמונות לפלוקס

  מייצר בבת אחת תיאור מילולי ותגיות שמתאימים ישירות לשני המקודדים של המודל.

• הכנת דאטה לאימון לורה

  מתאר סטים גדולים של תמונות ומנתח קומפוזיציה במהירות ובלי לתפוס זיכרון גרפי.

• ניתוח תמונות בקומפי

  משתלב כצומת בתהליכי עבודה אוטומטיים שצריכים פירוק מהיר של מה שרואים בפריים.

איפה זה נופל

חלון ההקשר קצר ועומד על 1,024 טוקנים, כך שאם אתם מנסים לנתח מסמכים ארוכים או תמונות עם טקסט צפוף הוא ייחתך. בנוסף, הוא נשען על פקודות ספציפיות כמו תגיות או תיאור מפורט. אם לא משתמשים בדיוק בפורמט ההוראות שהוא אומן עליו, הפלט מאבד עקביות. בכרטיס לא מפורטות מידות דיוק מספריות רשמיות מול מאגרי בוחן, כך שצריך לבדוק ידנית איך הוא מתמודד עם התמונות שלכם.

אותה משפחה

Florence-2-large-PromptGen יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

טוענים אותו ישירות דרך האגינג פייס או מחברים אותו לתוסף של מפתחי המודל בקומפי יו איי. הקבצים שוקלים 3.1 גיגה בייט בפורמט חצי דיוק, ובפועל הוא דורש קצת יותר מגיגה בייט אחד של זיכרון גרפי כדי לרוץ. זה אומר שהוא נכנס בלי בעיה כמעט בכל כרטיס מסך מודרני לצד המודל הראשי שמייצר את התמונות.

אין שום סיבה לשלם על שירות ענן חיצוני עבור מודל כזה. הוא קל כל כך ששווה להריץ אותו מקומית על אותה מכונה, בלי להוסיף השהיית רשת לתהליך העבודה.

pip install -U huggingface_hub
hf download MiaoshouAI/Florence-2-large-PromptGen-v2.0

הקבצים

15 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors3.3 GB
• tokenizer.json3.7 MB
• vocab.json798.3 KB
• merges.txt456.3 KB
• tokenizer_config.json197.7 KB
• special_tokens_map.json146.6 KB
• modeling_florence2.py127.2 KB
• processing_florence2.py46.4 KB
• added_tokens.json22.4 KB
• configuration_florence2.py15.1 KB
• README.md4.0 KB
• config.json3.9 KB
• .gitattributes1.5 KB
• preprocessor_config.json603 B
• generation_config.json57 B

הרישיון

המודל שוחרר תחת רישיון אם איי טי. אפשר לקחת אותו, להריץ אותו, לשנות אותו ולשלב אותו במוצרים מסחריים בלי לשלם תמלוגים ובלי לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים של המפתחים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗