Florence-2-base-PromptGen

מה זה

מדובר בכיוונון עדין של פלורנס שתיים הבסיסי של מיקרוסופט, עם 271 מיליון פרמטרים בלבד. המטרה שלו מוגדרת מאוד. רוב מודלי הראייה הכלליים מתארים תמונות במשפטים שלמים, אבל כשרוצים לאמן מודלים של יצירת תמונה, צריך תגיות קצרות, מדויקות ומוכרות מעולמות הג'ינרוט. היוצרים שלו לקחו תמונות ותגיות מנוקות מסיביטאי, כדי שהפלט ייראה בדיוק כמו הפרומפט שיצר את התמונה המקורית.

הוא כולל הוראה ייעודית בשם ג'נרייט פרומפט, לצד ההוראות הרגילות לתיאורים מפורטים של המודל המקורי. בגרסה אפס תשע עדכנו גם יכולת ראייה לחומרים לא מצונזרים, כך שהוא מיועד להתמודד גם עם תמונות כאלה בלי להיתקע.

מתאים ל

• תיוג דאטהסטים לאימון

  מייצר תגיות בסגנון דנבורו שמתאימות ישירות לאימון מודלי יצירת תמונה.

• הנדסה לאחור של תמונות

  מחלץ פרומפטים מתוך תמונות קיימות כדי להזין אותם חזרה במחוללי תמונה.

• תהליכי עבודה בקומפי

  משתלב כתוסף קל משקל לעיבוד ותיוג אוטומטי של תמונות מקומית.

איפה זה נופל

המודל מוגבל לחלון הקשר קצר של 1,024 טוקנים, והאימון שלו מבוסס ספציפית על תגיות ותמונות מסיביטאי. זה אומר שאם אתם צריכים ניתוח טקסטואלי עשיר, זיהוי מסמכים או עבודה בעברית, הוא פשוט ייכשל. הוא מפיק תגיות דנבורו באנגלית, ולשם בלבד כדאי לייעד אותו.

אותה משפחה

Florence-2-base-PromptGen יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

במשקל של ג'יגה בייט אחד, כמעט כל כרטיס מסך בסיסי יריץ אותו מקומית בלי מאמץ, ואפשר לעבוד איתו ישירות דרך ספריית טרנספורמרס או כתוסף לקומפי. הוא רץ בדיוק של פלואט 32, אבל בגודל הזה אין שום צורך לשלם על שירותי ענן חיצוניים או לחשוב פעמיים על עלויות שרתים.

השאלה היחידה היא אם אתם כבר עובדים עם קומפי. אם כן, יש לו הרחבה מוכנה שמחברת אותו ישירות לתהליך שלכם. אם אתם בונים שירות עצמאי בפייתון, פשוט טוענים אותו מהמאגר.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="MiaoshouAI/Florence-2-base-PromptGen")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.1 GB
• tokenizer.json2.3 MB
• vocab.json798.3 KB
• merges.txt456.3 KB
• tokenizer_config.json197.7 KB
• special_tokens_map.json146.6 KB
• modeling_florence2.py127.2 KB
• processing_florence2.py46.4 KB
• added_tokens.json22.4 KB
• configuration_florence2.py15.1 KB
• README.md2.6 KB
• config.json2.5 KB
• .gitattributes1.5 KB
• preprocessor_config.json947 B
• generation_config.json292 B

הרישיון

רישיון אם איי טי פשוט וחופשי. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו הלאה בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗