Florence-2

מה זה

אתם מעלים תמונה, בוחרים מודל מתוך ארבע גרסאות של מיקרוסופט, ומגדירים משימה מתוך רשימה מובנית. בין האפשרויות תמצאו יצירת תיאור טקסטואלי לתמונה ברמות פירוט שונות, משימות זיהוי שמחזירות סימונים גרפיים סביב אלמנטים, או שילוב שמייצר תיאור ומסמן את האובייקטים המוזכרים בו ישירות על התמונה. במשימות מסוימות מזינים גם שאלת טקסט חופשית או ביטוי לאיתור.

מאחורי הקלעים רצות גרסאות שונות של Florence 2: שתי גרסאות base ושתי גרסאות large, חלקן בדגם הבסיסי וחלקן בגרסת ft שעברה כוונון עדין. הקוד טוען את המודלים והמעבדים ישירות מספריית transformers עם אופטימיזציית sdpa, ומעבד את התוצאות הוויזואליות בעזרת ספריות ציור שמשרטטות תיבות תוחמות על גבי הפלט. הממשק מכיל גם דוגמאות מובנות שנשמרו מראש ומאפשרות לבדוק את היכולות בלחיצה אחת.

מתאים ל

• תיאור תמונות אוטומטי

  יצירת טקסט תיאורי מפורט לקבצי תמונה כדי להנגיש תוכן ויזואלי או לבנות מאגרי נתונים.

• זיהוי וסימון עצמים

  איתור אלמנטים לפי בקשה טקסטואלית וקבלת תיבות תוחמות ישירות על גבי התמונה.

• השוואה בין גרסאות מודל

  בדיקת ההבדל באיכות הזיהוי בין דגמי הבסיס לדגמים הגדולים יותר לפני שמורידים אותם לפיתוח.

איפה זה נופל

הממשק אינו מיועד לעיבוד קבצים בכמויות או לאוטומציה, אלא לבדיקה ידנית של תמונה בודדת בכל פעם. דגמי השפה והראייה אומנו באנגלית, כך שהזנת שאלות או בקשות בעברית תוביל לתוצאות שגויות או ריקות. בנוסף, חלוקת המשימות לתפריטים קבועים מראש מגבילה את הגמישות ולא מציגה את מלוא יכולות הפרומפטינג החופשי שקיימות בשימוש ישיר בקוד.

איך משתמשים

גוררים תמונה לחלון הקלט, בוחרים את המודל הרצוי ואת סוג המשימה, מזינים טקסט רק אם המשימה דורשת זאת, ולוחצים על כפתור השליחה. התוצאה מופיעה בצד ימין כטקסט, כתמונה מסומנת, או כשניהם יחד. השרת פועל על מאיץ גרפי ייעודי מסוג A10G שמוקצה לפי דרישה, כך שזמן הריצה מהיר מאוד ברגע שהמשאב נתפס, אך ייתכן שתמתינו בתור קצר אם המערכת מקימה את המאיץ מחדש.

הרישיון

האפליקציה פועלת תחת רישיון apache-2.0 שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים מסחריים. המודלים שנטענים שייכים למיקרוסופט ומחייבים בדיקה נפרדת של תנאי השימוש שלהם לפני שמשלבים אותם במוצר מסחרי. המידע והתמונות שאתם מעלים עוברים דרך שרתי Hugging Face לצורך העיבוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗