FastVLM-0.5B-ONNX

מה זה

מדובר בהמרה לפורמט ONNX של מודל ראייה מבוסס Llava ו־Qwen2, עם חצי מיליארד פרמטרים. התפקיד שלו הוא לקחת תמונה וטקסט, ולהחזיר תשובה טקסטואלית, מתיאור פשוט ועד מענה לשאלות על מה שרואים בפריים. ארכיטקטורת FastVLM שפותחה במקור על ידי אפל מתמקדת בקידוד ויזואלי יעיל, במטרה לקצר זמני עיבוד.

היתרון המרכזי כאן הוא ההתאמה לסביבות ווב דרך transformers.js. עם 24 שכבות וחלון הקשר של 32,768 טוקנים, הוא נותן מרחב נשימה לשיחות ארוכות או להוראות מפורטות, אבל צריך לזכור שחצי מיליארד פרמטרים זה עדיין מודל זעיר. הוא לא יתחרה בהבנה העמוקה של מודלי ענק, אלא מיועד למשימות נקודתיות ומהירות.

מתאים ל

• תיאור תמונות בדפדפן

  יצירת כתוביות לתמונות מקומיות בלי להעלות קבצים לשרת חיצוני.

• זיהוי אלמנטים פשוטים

  מענה על שאלות קצרות לגבי תוכן של תמונה בתוך יישום ווב מקומי.

• פיתוח כלי בדיקה פנימיים

  הדגמת יכולות מולטימודליות על חומרה מקומית ללא עלויות תשתית.

איפה זה נופל

הגודל הקומפקטי שלו אומר שהוא מועד להזיות, במיוחד בפרטים קטנים בתמונה או בקריאת טקסט צפוף. מעבר לזה, המשקל הכולל של 9.9 גיגה-בייט מחולק בין 37 קבצים שונים. זה סרבול רציני בזמן משיכה ראשונית, ובלי חיבור רשת חזק ומטמון מסודר החוויה בדפדפן עלולה להיתקע עוד לפני שהמודל התחיל לעבד טוקן אחד. כדאי לבדוק טוב איך הוא מתמודד עם השפה שלכם לפני שבונים עליו למוצר.

איך מריצים

אתם מריצים אותו דרך חבילת transformers.js ב־npm, והוא מסוגל לעבוד לחלוטין בצד הלקוח בעזרת WebGPU. אין צורך בשרת עם GPU ייעודי כדי להתחיל לשחק איתו, אבל נפח הקבצים הכולל להורדה מגיע לכמעט עשרה גיגה-בייט, שזה משקל כבד מאוד לטעינה ראשונית בדפדפן של משתמש קצה.

אם אתם צריכים לספק את השירות לקהל רחב בלי לחנוק לו את רוחב הפס או את הזיכרון במחשב, כנראה שעדיף להרים קונטיינר משלכם או להשתמש ב־API מרוחק. הרצה מקומית כזו מתאימה בעיקר ליישומים פנימיים, כלי דסקטופ או סביבות שבהן הפרטיות דורשת שאף פיקסל לא ייצא מהרשת המקומית.

pip install -U huggingface_hub
hf download onnx-community/FastVLM-0.5B-ONNX

הקבצים

37 קבצים במאגר, 9.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• onnx/decoder_model_merged.onnx2.0 GB
• onnx/decoder_model_merged_fp16.onnx991.9 MB
• onnx/embed_tokens_bnb4.onnx543.6 MB
• onnx/embed_tokens_q4.onnx543.6 MB
• onnx/embed_tokens.onnx543.6 MB
• onnx/vision_encoder_bnb4.onnx505.2 MB
• onnx/vision_encoder_q4.onnx505.2 MB
• onnx/vision_encoder.onnx505.2 MB
• onnx/decoder_model_merged_quantized.onnx502.7 MB
• onnx/decoder_model_merged_uint8.onnx502.7 MB
• onnx/decoder_model_merged_int8.onnx502.7 MB
• onnx/decoder_model_merged_q4.onnx317.4 MB
• onnx/decoder_model_merged_bnb4.onnx286.6 MB
• onnx/decoder_model_merged_q4f16.onnx282.3 MB
• onnx/embed_tokens_q4f16.onnx271.8 MB
• onnx/embed_tokens_fp16.onnx271.8 MB
• onnx/vision_encoder_q4f16.onnx252.7 MB
• onnx/vision_encoder_fp16.onnx252.7 MB
• onnx/vision_encoder_quantized.onnx222.8 MB
• onnx/vision_encoder_uint8.onnx222.8 MB
• onnx/vision_encoder_int8.onnx222.8 MB
• onnx/embed_tokens_int8.onnx135.9 MB
• onnx/embed_tokens_quantized.onnx135.9 MB
• onnx/embed_tokens_uint8.onnx135.9 MB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• LICENSE5.8 KB
• README.md3.9 KB
• .gitattributes1.6 KB
• tokenizer_config.json1.5 KB
• config.json1.3 KB
• preprocessor_config.json466 B
• special_tokens_map.json367 B
• processor_config.json133 B
• generation_config.json121 B
• added_tokens.json80 B

הרישיון

הרישיון הוא apple-amlr, רישיון המחקר של אפל. הוא מיועד בעיקר למטרות מחקר והערכה, ולא רישיון קוד פתוח מתירני רגיל. אם אתם מתכננים להטמיע אותו במוצר מסחרי שמוכר שירותים, אתם חייבים לבדוק היטב את תנאי הרישיון של אפל ולוודא שהשימוש שלכם מותר.

הרישיון המלא בעמוד המודל ↗