BLIP3o-Model-8B

מה זה

למרות השם שלו שמציג שמונה מיליארד, מדובר במודל שמבוסס על ארכיטקטורת blip3oQwen ומכיל בפועל מעל 14 מיליארד פרמטרים. הוא מביא איתו חלון הקשר ענק של 128 אלף טוקנים, שמתאים לניתוח כמויות גדולות של מידע חזותי וטקסטואלי במקביל.

בבנצ'מרקים שפורסמו הוא מציג תוצאות טובות למדי כמו ציון של 80.73 במבחן DBP וציון של 0.83 ב־GenEval. עם זאת, המשקלים ששוחררו כאן אומנו רק על 30 מיליון דוגמאות ממקורות פתוחים. הם מציגים פער מורגש מול הגרסה מהמאמר שלהם, שאומנה גם על מידע פרטי והגיעה לתוצאות גבוהות בהרבה, במיוחד במבחן WISE שבודק הבנה רחבה.

מתאים ל

• ניתוח מסמכים ארוכים באנגלית

  חלון של 128 אלף טוקנים מאפשר להזין פקודות מורכבות ומסמכים מרובי עמודים ברצף אחד.

• מחקר והשוואת מודלים פתוחים

  הקוד פתוח תחת אפאצ'י ומאפשר לבדוק את השפעת נתוני האימון מול המאמר שפורסם.

• הטמעה בתשתיות מקומיות

  רישיון חופשי לחלוטין שמאפשר הרצה עצמית בארגונים שלא יכולים להוציא דאטה החוצה.

איפה זה נופל

הגרסה הזו מפגרת באופן ברור אחרי מה שהחוקרים דיווחו עליו במאמר. בגלל שוויתרו כאן על 30 מיליון דוגמאות המידע הקנייני, מבחן WISE צנח מציון של 0.62 ל־0.52 בלבד. הנפילה כואבת במיוחד בכימיה שבה הציון עומד על 0.37 בלבד, ובשאלות של הקשר תרבותי עם ציון של 0.49. מעבר לזה, המודל אומן ותומך רק באנגלית, כך שאין מה לבנות עליו לפרויקטים בעברית.

איך מריצים

כדי להריץ אותו אצלכם תצטרכו להוריד קבצים במשקל כולל של כמעט 32 גיגה בייט דרך snapshot_download, ולהשתמש בספריית diffusers יחד עם הקוד מהמאגר שלהם בגיטהאב. הדיוק הוא bfloat16 ומספר הפרמטרים הוא 14B, כך שצריך כרטיס מסך רציני עם לפחות 32 או 40 גיגה בייט של זיכרון גרפי כדי לטעון אותו ישירות, למשל A100 או לפחות כרטיס ייעודי לתחום השרתים.

אם אין לכם שרת עם מאיץ גרפי כבד וזמין, להחזיק כרטיס כזה פעיל כל הזמן פשוט יעלה לכם יותר מדי. במקרים של עומס נמוך עדיף לקרוא לפתרון מנוהל חיצוני ולא להתעסק עם ההרצה הזו.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("BLIP3o/BLIP3o-Model-8B")
img = pipe("a photo").images[0]

הקבצים

40 קבצים במאגר, 31.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion-decoder/unet/diffusion_pytorch_model.bf16.safetensors5.1 GB
• model-00005-of-00006.safetensors5.0 GB
• model-00002-of-00006.safetensors5.0 GB
• model-00004-of-00006.safetensors5.0 GB
• model-00001-of-00006.safetensors5.0 GB
• model-00003-of-00006.safetensors4.9 GB
• model-00006-of-00006.safetensors3.3 GB
• diffusion-decoder/safety_checker_none/model.bf16.safetensors608.0 MB
• diffusion-decoder/vae/diffusion_pytorch_model.bf16.safetensors167.3 MB
• tokenizer.json11.4 MB
• trainer_state.json2.9 MB
• vocab.json2.8 MB
• diffusion-decoder/tokenizer/tokenizer.json1.9 MB
• merges.txt1.7 MB
• diffusion-decoder/tokenizer/tokenizer.model499.7 KB
• model.safetensors.index.json221.2 KB
• .gitattributes50.5 KB
• diffusion-decoder/pipeline_llava_gen.py11.0 KB
• diffusion-decoder/pipeline_emu2_gen.py9.5 KB
• diffusion-decoder/pipeline_ar_gen.py9.4 KB
• diffusion-decoder/tokenizer/added_tokens.json8.3 KB
• tokenizer_config.json7.5 KB
• training_args.bin7.4 KB
• diffusion-decoder/tokenizer/special_tokens_map.json7.2 KB
• diffusion-decoder/safety_checker_none/config.json4.6 KB
• diffusion-decoder/README.md4.2 KB
• config.json2.1 KB
• diffusion-decoder/unet/config.json1.8 KB
• README.md1.6 KB
• diffusion-decoder/.gitattributes1.5 KB
• gen_projector.bin888 B
• mm_projector.bin884 B
• diffusion-decoder/tokenizer/tokenizer_config.json745 B
• diffusion-decoder/vae/config.json684 B
• added_tokens.json665 B
• diffusion-decoder/model_index.json607 B
• diffusion-decoder/feature_extractor/preprocessor_config.json518 B
• diffusion-decoder/scheduler/scheduler_config.json474 B
• special_tokens_map.json371 B
• generation_config.json290 B

הרישיון

הרישיון הוא apache-2.0. זה אומר שאתם חופשיים לחלוטין להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗