Florence-2-base-PromptGen-v2.0

מה זה

מדובר בגרסה מכווננת של פלורנס הבסיסי, שנועדה לחלץ תיאורים ותגיות מתמונות בדיוק בסגנון שדרוש למודלי דיפוזיה, במיוחד פלאקס. במקום להריץ כלי נפרד לתגיות בסגנון דנבורו וכלי נפרד לתיאור טבעי מפורט, הוא מחבר את שניהם תחת אותה ריצה ומספק פלט שמתאים ישירות למקודדי הטקסט השונים.

המשקל שלו עומד על כג'יגה בייט בודד, מה שהופך אותו לאחד הכלים הקלים ביותר שיש כיום למשימה הזו. גרסה שתיים מוסיפה הוראות חדשות לניתוח קומפוזיציה של התמונה וחיבור בין ניתוח מבני לתיאור מילולי מורחב, מה שעוזר ללכוד לא רק מה מופיע בפריים אלא גם איפה כל אובייקט ממוקם ביחס לאחרים.

מתאים ל

• תיוג מאגרים לאימון לורה

  מייצר תגיות מדויקות ותיאורים מפורטים במקביל כדי להכין מאגרי תמונות לאימון מודלי ציור במהירות.

• הזנת פרומפטים לפלאקס

  מייצר פלט מפוצל שמזין ישירות את שני מקודדי הטקסט של המודל בריצה אחת חסכונית.

• ניתוח קומפוזיציה לתמונה

  מזהה מיקומים של אובייקטים בתוך הפריים לצורך שחזור מבנה תמונה או הנדסת פרומפטים.

איפה זה נופל

חלון ההקשר מוגבל לאלף עשרים וארבעה טוקנים בלבד, כך שלא תוכלו לייצר ממנו ניתוחים ארוכים במיוחד או להעמיס עליו הנחיות מורכבות. הוא נבנה למשימה אחת בלבד, תיוג תמונות לפי פקודות מוגדרות מראש, ולא יתאים לשיחה כללית או לשאלות פתוחות על תוכן התמונה. בנוסף, מודל בסיס בגודל כזה עלול לפספס פרטים קטנים או לטעות בזיהוי אלמנטים מורכבים ברקע.

אותה משפחה

Florence-2-base-PromptGen יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו צריך קצת יותר מג'יגה בייט אחד של זיכרון כרטיס מסך, כך שכל מעבד גרפי מודרני ואפילו מחשב נייד עם כרטיס בסיסי יריצו אותו בלי בעיה. הדרך הפשוטה ביותר לשלב אותו היא דרך צומת ייעודית בממשק קומפי, שמחברת את הפלט ישירות למודל התמונה.

אם אתם רק מתייגים מאגר תמונות מקומי או עובדים על יצירה מקומית, אין שום סיבה לשלם על שירות חיצוני. מודל בגודל מאתיים שבעים ואחד מיליון פרמטרים רץ מקומית כמעט מיידית, וקריאה לשרת מרוחק רק תוסיף זמני השהיה מיותרים.

pip install -U huggingface_hub
hf download MiaoshouAI/Florence-2-base-PromptGen-v2.0

הקבצים

15 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.1 GB
• tokenizer.json2.3 MB
• vocab.json798.3 KB
• merges.txt456.3 KB
• tokenizer_config.json197.7 KB
• special_tokens_map.json146.6 KB
• modeling_florence2.py127.2 KB
• processing_florence2.py46.4 KB
• added_tokens.json22.4 KB
• configuration_florence2.py15.1 KB
• README.md4.0 KB
• config.json3.8 KB
• .gitattributes1.5 KB
• preprocessor_config.json603 B
• generation_config.json292 B

הרישיון

הרישיון הוא רישיון אם אי טי פתוח. אפשר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצר סגור בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים המקורית בתוך הקוד או ההפצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗