Taiyi-Stable-Diffusion-1B-Chinese-v0.1

מה זה

במקום לאמן מודל תמונה מאפס או לתרגם טקסט באנגלית, הצוות של פנגשנבאנג לקח את סטייבל דיפיוז'ן 1.4 המקורי והחליף לו את רכיב הטקסט. הם הקפיאו את כל חלקי יצירת התמונה ואימנו אך ורק מקודד טקסט סיני מסוג טאיאי קליפ רוברטה כדי לחבר ביטויים בסינית ישירות לייצוג הוויזואלי הקיים.

האימון נעשה על עשרים מיליון צמדי תמונה וטקסט שסוננו משני מאגרים סיניים גדולים, לפי ציון דמיון של מעל 0.2 במדד קליפ. התהליך רץ על שלושים ושניים כרטיסי אי מאה במשך מאה שעות בסך הכול עבור אֶפּוֹק יחיד. התוצאה היא מודל שיודע להבין שירה סינית קלאסית, ניבים או תיאורי מקומות, בלי לאבד את יכולת הציור הכללית של הגרסה המקורית שעליה הוא נשען.

מתאים ל

• יצירת איורים מפרומפט סיני

  מבין שירה סינית עתיקה וביטויים תרבותיים ישירות מהטקסט, בלי תיווך של תרגום לאנגלית שמאבד כוונה.

• אימון דרימבוט מותאם לסין

  מאפשר לבצע כוונון עדין על אובייקטים וסגנונות מקומיים באמצעות התשתית והמדריכים של הפרויקט.

• שילוב בממשקי ווב מקומיים

  מתחבר ישירות לתוכנות ממשק משתמש קיימות של סטייבל דיפיוז'ן עבור יוצרים שכותבים בסינית בלבד.

איפה זה נופל

הכרטיס מצהיר בפירוש שמדובר בגרסה ראשונית מאוד שנלמדה על אפוק בודד בלבד. עשרים מיליון דוגמאות זה מאגר מסונן יחסית אך צנוע, ומקודד הטקסט עלול לפספס תיאורים מורכבים. בנוסף, רכיב התמונה הבסיסי נשאר מודל ישן מסוף 2022, כך שכל הבעיות המקוריות של עיוותי אנטומיה, ידיים ושילוב טקסט בתוך הציור קיימות כאן במלואן. עברית לא נתמכת בכלל.

איך מריצים

מריצים אותו בקלות דרך ספריית דיפיוזרס בפייתון עם פייפליין סטנדרטי של סטייבל דיפיוז'ן. הורדת המשקלים דורשת קרוב לתשעה גיגה בייט, ובשביל מהירות סבירה וחיסכון בזיכרון צריך כרטיס אנבידיה עם תמיכה בחישובי חצי דיוק וטעינה ישירה לקודה.

אם אין לכם כרטיס גרפי מתאים בשרת, המודל הזה כבד מדי למעבד רגיל. במקרה כזה עדיף לפנות למרחב ההדגמה בגרדיו או להרים שרת מנוהל לעיבוד תמונה, במיוחד אם אתם רק בודקים התאמה לפרויקט.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1")
img = pipe("a photo").images[0]

הקבצים

27 קבצים במאגר, 8.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Taiyi-Stable-Diffusion-1B-Chinese-v0.1.ckpt4.2 GB
• unet/diffusion_pytorch_model.bin3.4 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin409.1 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• result_examples/feiliu1.png596.7 KB
• result_examples/feiliu.png584.3 KB
• result_examples/feiliu2.png584.3 KB
• result_examples/tiema.png488.9 KB
• result_examples/tiema1.png488.9 KB
• result_examples/chengshi.jpg262.8 KB
• result_examples/nvhai.jpg231.6 KB
• result_examples/tiema2.png216.7 KB
• result_examples/tiema2.jpg202.7 KB
• result_examples/naren.jpg200.5 KB
• tokenizer/vocab.txt109.5 KB
• README.md8.8 KB
• safety_checker/config.json4.7 KB
• .gitattributes1.5 KB
• text_encoder/config.json884 B
• unet/config.json793 B
• vae/config.json600 B
• tokenizer/tokenizer_config.json555 B
• model_index.json537 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json298 B
• tokenizer/special_tokens_map.json186 B

הרישיון

הרישיון הוא קריאייטיב אם אל אופן רייל אם. מותר להשתמש בו לצרכים מסחריים ומחקריים בחינם, בתנאי ששומרים על הגבלות השימוש המוגדרות ברישיון נגד יצירת תוכן פוגעני, מסוכן או מטעה, ומצרפים את נוסח הרישיון המקורי למשתמשי הקצה.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗