Ovis-U1-3B — הדגמה

מה זה

הממשק מחולק לשלוש לשוניות עבודה. בלשונית הראשונה מעלים תמונה ומקלידים הוראת עריכה, ומקבלים גלריית תמונות מעודכנת. בלשונית השנייה מקלידים תיאור טקסטואלי רגיל וקובעים ממדי גובה ורוחב של עד 1024 פיקסלים כדי לקבל תמונה מאפס. בלשונית השלישית מזינים תמונה יחד עם שאלה מילולית, ומקבלים ניתוח טקסטואלי בשדה ייעודי.

מתחת למכסה המנוע רץ המודל AIDC-AI/Ovis-U1-3B דרך ספריית transformers, תוך שימוש במנגנון AutoModelForCausalLM. הקוד מפעיל שלושה צינורות נפרדים למשימות השונות, כולל שליטה בהנחיית תמונה, הנחיית טקסט ומספר צעדים. בכל לשונית משולבות דוגמאות מובנות מראש, אם כי הממשק אינו שומר אותן במטמון ומריץ את העיבוד בפועל.

מתאים ל

• עריכת תמונות לפי פקודה

  מעלים תמונה קיימת, מגדירים מה לשנות בטקסט חופשי ומקבלים גרסאות חדשות.

• יצירת תמונות מטקסט

  מזינים תיאור מילולי, קובעים מידות של עד 1024 פיקסלים ומייצרים תמונה.

• ניתוח תמונה ומענה לשאלות

  מעלים תמונה ושואלים עליה שאלות כדי לקבל תשובה מילולית ישירה.

איפה זה נופל

המודל כולל שלושה מיליארד פרמטרים בלבד, כך שלא כדאי לצפות לדיוק של מערכות ענק מסחריות, במיוחד בניתוח תמונות מורכב או בפרטים עדינים ביצירה גרפית. הדוגמאות המוצגות בממשק אינן נשמרות במטמון אלא מעובדות מחדש, מה שעלול להטעות לגבי זמן התגובה האמיתי בזמן עומס. בנוסף, הממשק מחייב העלאת תמונה בעריכה ובניתוח, ואם תשכחו לצרף קובץ תקבלו רק הודעת שגיאה פשוטה.

איך מריצים

בוחרים את אחת משלוש הלשוניות, ממלאים את שדות הטקסט או מעלים תמונה, ולוחצים על כפתור Run המתאים. בלשוניות היצירה והעריכה אפשר לפתוח תפריט הגדרות מתקדמות ולשנות ידנית את כמות הצעדים שמוגדרת כברירת מחדל ל־50, את ערכי ההנחיה או את הסיד. כפתור ייעודי מאפשר לאפס את כל הנתונים בלחיצה אחת. הקוד משתמש במודול spaces, כך שההרצה מתבססת על הקצאת משאבי ענן עם מד התקדמות מובנה, ועשויה לדרוש המתנה כשיש עומס.

pip install -U huggingface_hub
hf download ATH-MaaS/Ovis-U1-3B

הקבצים

22 קבצים במאגר, 9.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00002-of-00003.safetensors5.0 GB
• model-00001-of-00003.safetensors4.1 GB
• model-00003-of-00003.safetensors1.2 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json105.1 KB
• modeling_yak.py50.0 KB
• modeling_ovis_u1.py43.3 KB
• modeling_aimv2.py16.2 KB
• configuration_ovis_u1.py12.4 KB
• Notice11.9 KB
• LICENSE11.4 KB
• config.json11.2 KB
• tokenizer_config.json9.7 KB
• README.md9.2 KB
• configuration_aimv2.py3.2 KB
• configuration_yak.py1.8 KB
• .gitattributes1.6 KB
• added_tokens.json707 B
• special_tokens_map.json613 B
• preprocessor_config.json583 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה לצרכים אישיים ומסחריים בהתאם לתנאי הרישיון. תמונות וטקסטים שאתם מעלים מועברים לעיבוד בענן של השרת המארח, ולכן מומלץ להימנע מהעלאת מידע פרטי או קבצים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗