Florence-2-base-PromptGen-v1.5

מה זה

המודל מבוסס על הארכיטקטורה הקומפקטית של פלורנס 2 מבית מיקרוסופט, עם 271 מיליון פרמטרים בלבד. בניגוד למודלי ראייה רגילים שפולטים תיאורים טבעיים וכלליים, כאן כיוונו את המשקלים במיוחד כדי להפיק פרומפטים מדויקים שמשמשים לאימון מודלי יצירת תמונה או לשחזור סצנות. הוא מחזיר תיאורים ישירים, תגיות בסגנון דנבורו, או שילוב של שניהם, בלי תוספות מיותרות בנוסח תיאור מנומס של התמונה.

בגרסה 1.5 החליפו את דאטה האימון המקורי שנשען על מידע מאתר סיוויטאי כדי להיפטר ממילות הפעלה שגויות של לורות ומטעויות תיוג. המודל מסוגל לקרוא טקסט מתוך התמונה, לזהות מיקומים של אובייקטים ולזהות סימני מים. היכולת להפיק בו זמנית גם תיאור מפורט וגם תגיות מיועדת ספציפית לעבודה עם שני המקודדים של פלאקס, טי 5 וקליפ, בריצה בודדת.

מתאים ל

• תיוג דאטה סט לאימון לורה

  הוא מפיק תגיות בסגנון דנבורו ותיאורים ממוקדים שמתאימים ישירות לאימון מודלי יצירה.

• עבודה עם מודל פלאקס

  מייצר בהרצה אחת תיאור מפורט ותגיות המזינים במקביל את שני מקודדי הטקסט שלו.

• הנדסה הפוכה לתמונות

  קורא טקסט ומיקומי אלמנטים מהתמונה כדי לבנות פרומפט מדויק לשחזור הסצנה.

איפה זה נופל

חלון ההקשר עומד על 1,024 טוקנים, כך שהוא לא מיועד לפסקאות ארוכות או לניתוח טקסטואלי נרחב מעבר לתיוג התמונה. המודל מתמקד במשימות מוגדרות מראש לפי הוראות קבועות במבנה ספציפי, ולא יודע לנהל שיחה חופשית או לענות על שאלות כלליות מורכבות על מה שמוצג. בנוסף, ההתאמה שלו מכוונת לעולם מחוללי התמונות, ולכן תיאוריו מוטים מאוד לכיוון של פרומפטים ותגיות ולא בהכרח יתאימו למוצר שזקוק לניתוח ראייה ממוחשבת כללי וקלאסי.

אותה משפחה

Florence-2-base-PromptGen יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

בגלל גודלו הקטן, המודל שוקל כג'יגה בייט בודד ודורש מעט יותר מג'יגה בייט אחד של זיכרון כרטיס מסך כדי לרוץ במהירות גבוהה. אפשר להריץ אותו מקומית על כמעט כל כרטיס מסך מודרני בלי לחשוב פעמיים, במיוחד דרך תוסף התיוג הייעודי של היוצרים למערכת קומפי יו איי.

אין שום סיבה אמיתית לשלם על קריאות שרת חיצוניות למודל בסדר גודל כזה. הוא קל משקל, רץ מקומית בלי תקורת תקשורת, ומתאים ישירות לתהליכי עבודה שרצים כבר עכשיו אצלכם על המחשב או בשרת האימון.

pip install -U huggingface_hub
hf download MiaoshouAI/Florence-2-base-PromptGen-v1.5

הקבצים

15 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.1 GB
• tokenizer.json2.3 MB
• vocab.json798.3 KB
• merges.txt456.3 KB
• tokenizer_config.json197.7 KB
• special_tokens_map.json146.6 KB
• modeling_florence2.py127.2 KB
• processing_florence2.py46.4 KB
• added_tokens.json22.4 KB
• configuration_florence2.py15.1 KB
• README.md5.0 KB
• config.json3.8 KB
• .gitattributes1.5 KB
• preprocessor_config.json603 B
• generation_config.json292 B

הרישיון

רישיון אם איי טי פתוח ומתירני לחלוטין. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להטמיע אותו במוצרים סגורים ולהפיץ אותו הלאה. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗