InternVL3-1B

מה זה

הארכיטקטורה מורכבת מרכיב ראייה מסוג InternViT-300M-448px-V2_5 שמחובר באמצעות שכבת MLP למודל שפה זעיר, Qwen2.5-0.5B. בניגוד לגישה הרגילה שמחברת מודל שפה מאומן למודל ראייה בשלב מאוחר, כאן השתמשו באימון מקדים רב־מודאלי שמשלב טקסט ותמונות יחד מההתחלה, לצד כוונון בשיטת MPO שנועד לצמצם שגיאות בשרשראות חשיבה.

הוא מסוגל לקבל תמונה אחת, רצף תמונות או וידאו, ומפרק תמונות למקטעים של 448 על 448 פיקסלים כדי לטפל ברזולוציות משתנות. בנוסף שולב בו קידוד מיקום ויזואלי גמיש בשם V2PE שמשפר הבנה בהקשרים ארוכים. המטרה כאן אינה להתחרות בענקי ענן, אלא לתת מענה ממוקד למשימות ויזואליות בסיסיות, הפעלת ממשקי משתמש, וניתוח מסמכים תחת משאבים אפסיים.

מתאים ל

• זיהוי אלמנטים בממשק

  התאמה טובה לניתוח צילומי מסך בסיסיים וזיהוי כפתורים בזכות שילוב נתוני אימון ייעודיים לתפעול ממשקים גרפיים.

• סריקת מסמכים פשוטים

  עיבוד תעודות ותמונות עם מעט טקסט ישירות על חומרה מקומית קלה, בלי תלות ברשת ובלי עלויות ענן.

• סינון ראשוני של תמונות

  מיון מהיר של תמונות או קטעי וידאו לפי תיאור כללי כשלב מקדים במערכות עיבוד גדולות.

איפה זה נופל

בסיס השפה שלו נשען על מודל של חצי מיליארד פרמטרים, גודל מינימליסטי שמועד להזיות חמורות, כשלים בהבנת הנחיות מורכבות וקושי בניסוח תשובות ארוכות. הכרטיס מדגיש צורך במנגנוני דירוג חיצוניים כמו מודל שופט בשלב הבדיקות כדי לחלץ תשובות היגיון טובות, מה שמעיד על חוסר יציבות מובנה בחשיבה עצמאית. בנוסף, חלוקת תמונות להרבה מקטעים מייצרת עומס חישובי מהיר ועלולה לפגוע בדיוק אם מנסים לנתח פרטים זעירים מדי.

אותה משפחה

InternVL3 יצא ב־6 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל של הקבצים עומד על 1.8 גיגה בייט בלבד בדיוק bfloat16, כך שהוא נכנס בקלות לתוך כרטיס מסך צרכני פשוט או מעבד עם זיכרון צנוע באמצעות ספריית transformers. הטעינה דורשת הגדרת trust_remote_code כיוון שהיא משתמשת בקוד ייעודי של הארכיטקטורה, ומומלץ להפעיל את Flash Attention לביצועים תקינים.

אמנם כרטיס המודל כולל בטעות הערת קוד גנרית מהדגמים הכבדים שמזכירה שרתי שמונים גיגה בייט, אך בפועל דגם של 938 מיליון פרמטרים רץ מקומית בלי מאמץ. אם המטרה שלכם היא פענוח טקסט מורכב מאוד או פתרון בעיות היגיון סבוכות מתמונות, עדיף לפנות ישירות למודל גדול בהרבה דרך שירות חיצוני.

from transformers import pipeline

pipe = pipeline("image-text-to-text", model="OpenGVLab/InternVL3-1B")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.9 GB
• tokenizer.json7.0 MB
• vocab.json3.4 MB
• examples/red-panda.mp41.9 MB
• merges.txt1.7 MB
• examples/image2.jpg125.7 KB
• examples/image1.jpg78.1 KB
• README.md35.8 KB
• modeling_intern_vit.py18.1 KB
• modeling_internvl_chat.py16.0 KB
• conversation.py15.3 KB
• tokenizer_config.json7.3 KB
• config.json6.3 KB
• configuration_intern_vit.py5.5 KB
• configuration_internvl_chat.py4.0 KB
• .gitattributes1.6 KB
• added_tokens.json790 B
• special_tokens_map.json613 B
• preprocessor_config.json287 B
• generation_config.json69 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי חופשי, שינוי הקוד והפצה פנימית או חיצונית, בתנאי ששומרים על הצהרת זכויות היוצרים המקורית ומצרפים עותק של תנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗