GPT
הוספת כלי
F

onnx-community/Florence-2-base-ft

קוד פתוח

onnx-communitymit2024-06-19

  • transformers.js
  • onnx
  • florence2
  • image-text-to-text
  • vision

גרסת ONNX של מודל הראייה מבית מיקרוסופט, שמיועדת להרצה ישירה בתוך הדפדפן או בסביבת Node.js. מתאימה למי שרוצה עיבוד תמונה וטקסט מקומי בצד הלקוח בלי להקים שרת פייתון ייעודי.

  • 1,024טוקנים בהקשר
  • 5.0 GBמשקל הקבצים
  • 17,474הורדות בחודש
  • 44לייקים

מה זה

מדובר בהמרה של Florence-2-base-ft לפורמט ONNX, שנועדה לעבוד עם ספריית Transformers.js. המודל מבצע משימות של תמונה לטקסט כמו תיאור תמונות (captioning), זיהוי אובייקטים והבנת תוכן ויזואלי. ההבדל העיקרי מול המקור של מיקרוסופט הוא לא ביכולות הראייה אלא בסביבת הריצה, כאן אפשר להפעיל אותו בסביבות ג'אווהסקריפט דרך WebGPU או CPU.

המודל מגיע עם חלון הקשר צנוע של 1,024 טוקנים ומבוסס על ארכיטקטורת Florence2ForConditionalGeneration. הוא לא מתיימר להיות מודל שיחה ענק, אלא כלי ממוקד לחילוץ מידע מתמונות. אם אתם רגילים להרים שרת מיוחד עבור מודלים כאלה, הפורמט הזה נועד לחסוך את התשתית הזו ולאפשר ריצה ישירה בקליינט.

מתאים ל

  • תיאור תמונות בדפדפן

    יצירת כיתובים לתמונות ישירות אצל המשתמש ללא שליחת מידע לשרת חיצוני.

  • מערכות Node.js מקומיות

    הרצת עיבוד תמונה וטקסט בשרתי ג'אווהסקריפט בלי תלות בסביבות פייתון.

  • פיתוח אפליקציות WebGPU

    בניית הדגמות וכלי בינה מלאכותית מבוססי ווב שמשתמשים בכוח העיבוד של כרטיס המסך המקומי.

איפה זה נופל

חלון ההקשר מוגבל ל־1,024 טוקנים, מה שלא מתאים למשימות עם טקסט ארוך במיוחד. הבעיה העיקרית כאן היא המשקל, הורדה של 5 גיגה-בייט לדפדפן של לקוח היא מחסום כבד מאוד למשתמשי קצה רגילים. בנוסף, הכרטיס מציין שהמאגר הזה הוא פתרון זמני עד שפתרונות WebML יתבססו, מה שאומר שהתחזוקה והמבנה שלו עשויים להשתנות בעתיד. אין כאן נתוני דיוק או מדידות רשמיות בכרטיס, כך שחובה לבדוק אותו עצמאית על התמונות שלכם.

שאלות
נפוצות

האם המודל ירוץ מהר בדפדפן של כל משתמש?

לא בהכרח. המודל שוקל 5.0 גיגה-בייט ודורש תמיכה ב־WebGPU כדי לפעול במהירות סבירה. במחשבים ישנים או בלי מאיץ גרפי מתאים, הביצועים יהיו איטיים מאוד והטעינה הראשונית תיקח זמן רב.

מה ההבדל בין המאגר הזה למודל המקורי של מיקרוסופט?

המשקלים הומרו לפורמט ONNX כדי להתאים ישירות לספריית Transformers.js. היכולות המקוריות של Florence-2 נשמרות, אך צורת הטעינה וההרצה מותאמת לסביבות ג'אווהסקריפט במקום לפייתון.

איך מריצים

את המודל מריצים ישירות בג'אווהסקריפט באמצעות התקנת ספריית transformers.js דרך npm. הוא מחולק ל־59 קבצים ששוקלים יחד 5.0 גיגה-בייט, כך שהורדה ראשונית בדפדפן תיקח זמן ותדרוש חיבור יציב וזיכרון עבודה מספק בצד המשתמש.

בשביל להריץ אותו בצורה חלקה בדפדפן צריך תמיכה ב־WebGPU, או להריץ אותו מקומית על Node.js. אם המשתמשים שלכם גולשים ממכשירים חלשים או מטלפונים ניידים, עדיף להריץ את המודל בצד השרת או לפנות ל־API חיצוני כדי לא להעמיס 5 גיגה-בייט על הדפדפן.

pip install -U huggingface_hub
hf download onnx-community/Florence-2-base-ft

הקבצים

59 קבצים במאגר, 5.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי של הקוד והפצה חופשית, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אתם יכולים לשלב אותו במוצר שלכם בלי דרישה לחשוף את הקוד שלכם.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗