ToriiGate-0.5

מה זה

מדובר במודל ראייה ושפה שמבוסס על ארכיטקטורת Qwen3_5ForConditionalGeneration, ומכוון ספציפית לעבודה עם אמנות דיגיטלית, צילומי מסך ואיורים. הוא אומן על גרסה מסוננת ומורחבת של מאגר Anime-Art-Multicaptions-v5.0, ולכן הוא מזהה דמויות מוכרות עד סוף שנת 2025, מבדיל בין מאפיינים פיזיים נפרדים של כמה דמויות באותו פריים, ומפיק תיאורים עשירים בלי מילים מכובסות. בניגוד למודלים כלליים שמתחמקים מתיאור תכנים בוטים, הוא מתמודד ישירות עם יצירות sfw וגם nsfw.

בבדיקות של המפתח מול ארבעת אלפים תמונות מאתר Danbooru, המודל הראה יכולת לנחש דמויות פופולריות ללא עזרה, ומסוגל לחלץ שמות מתוך רשימת תגיות כדי לא לבלבל בין דמויות דומות. כמו כן, בבחינה של אלפיים תמונות בקטגוריות בוטות, הערכה סמנטית באמצעות Kimi k2.5 הראתה דיוק תיאורי גבוה יותר לעומת חלופות גדולות יותר, בעיקר בזכות ההיכרות עם ז'רגון התחום.

מתאים ל

• בניית מאגרי אימון

  יצירת כתוביות מפורטות ומובנות לאלפי איורים כדי לאמן מודלי תמונה חדשים.

• חילוץ פרומפטים מאיורים

  הפיכת תמונות קיימות לתיאורי טקסט מדויקים שמתאימים מיד כמחרוזת יצירה.

• מיון וקטלוג גלריות

  זיהוי שמות דמויות ומאפיינים חזותיים בתמונות מרובות לצורך תיוג וחיפוש פנימי.

איפה זה נופל

המודל עבר התאמה כל כך קיצונית למשימת התיאור, שכל היכולות הכלליות שלו בוטלו בכוונה. הוא לא מסוגל לשמש כצ'אט, הוא לא קורא טקסט מתוך תמונה (OCR), הוא נכשל בעיבוד תמונות מרובות במקביל, ואי אפשר לשלוח אליו קלט של טקסט בלבד. המפתח מדגיש שלא לנסות להשתמש בו בממשקים רגילים כמו SillyTavern או OpenWebui.

בנוסף, חלק מתבניות הנימוק עובדות רק אם מעבירים שמות דמויות ידועים מראש, ותמונות עם דמויות נדירות עלולות לגרום לבלבול עם דמויות פופולריות אם לא מספקים תגיות עזר. המודל גם אומן על רזולוציה ממוצעת של מגה פיקסל אחד בערך, ולכן שליחת קבצים ענקיים ללא הקטנה מוקדמת תפגע באיכות.

איך מריצים

המשקל הכולל של הקבצים עומד על 9.7 GB, כך שכרטיס מסך ביתי מודרני ממוצע יכול להריץ אותו מקומית. כדי לקבל ביצועים סבירים בפועל עדיף להשתמש במנועים כמו VLLM, Llamacpp או Exllama, כי הרצה ישירה דרך ספריית Transformers איטית מאוד לפי עדות המפתח. קיימות גם גרסאות מכומתות בקהילה וצמתי ComfyUI מוכנים.

אם יש לכם מחשב עם מאיץ גרפי מתאים, שווה להריץ הכל אצלכם כדי לשמור על פרטיות ולעבד אלפי קבצים ברצף ללא תשלום על כל שאילתה. אין למודל הזה שירות ענן רשמי בתשלום לפי קריאה, כך שהברירה היא הרצה עצמית במחשב המקומי או הרמה שלו על שרת ייעודי משלכם.

pip install -U huggingface_hub
hf download Minthy/ToriiGate-0.5

הקבצים

33 קבצים במאגר, 9.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors10.4 GB
• tokenizer.json12.8 MB
• vocab.json6.7 MB
• merges.txt3.4 MB
• examples/md_comic.jpg263.8 KB
• examples/chroma.jpg263.6 KB
• pics/example.jpg236.7 KB
• pics/original.jpg231.6 KB
• examples/min_structured_md.jpg216.5 KB
• examples/long.jpg212.6 KB
• examples/min_structured_json.jpg209.7 KB
• examples/json_comic.jpg158.2 KB
• examples/json.jpg151.3 KB
• pics/splash.jpg142.1 KB
• examples/long_thoughts.jpg136.7 KB
• examples/long_thoughts_v2.jpg93.5 KB
• examples/short.webp90.8 KB
• pics/zero_shot_guess.png52.1 KB
• pics/nsfw_inaccuracy.png44.6 KB
• pics/retrieval_from_tags.png40.3 KB
• formats.md25.9 KB
• scripts/gradio_interface.py22.3 KB
• tokenizer_config.json16.7 KB
• README.md11.9 KB
• scripts/prompts.py11.4 KB
• scripts/caption_distributed.py9.9 KB
• scripts/__pycache__/prompts.cpython-310.pyc9.9 KB
• chat_template.jinja4.8 KB
• config.json3.2 KB
• .gitattributes2.2 KB
• scripts/transformers_ver.py1.8 KB
• preprocessor_config.json390 B
• video_preprocessor_config.json386 B

הרישיון

המודל מופץ תחת רישיון mit. זהו רישיון קוד פתוח מתירני מאוד, שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, הפצה מחדש ושילוב בתוך מוצרים סגורים, בלי דרישה לחלוק את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗