sd-pokemon-diffusers

מה זה

ג'סטין פינקני ממעבדות למבדה לקח את סטייבל דיפיוז'ן ואימן אותו מחדש על מאגר תמונות פוקימון עם תיאורי בליפ. האימון לקח כ־15,000 צעדים על שני כרטיסי מסך מסוג A6000, סיפור של שש שעות ועלות של כעשרה דולרים. המטרה כאן ממוקדת מאוד: לכפות את השפה החזותית של המותג על כל מושג שזורקים אליו.

בניגוד למודל המקורי שדורש תיאורים ארוכים כדי לקבל סגנון אנימציה יפני ספציפי, כאן כותבים מילים בודדות כמו יודה או הלו קיטי ומקבלים יצור מותאם. הקבצים שוקלים 5.1 ג'יגה בייט ומתאימים ישירות לספריית diffusers הוותיקה.

מתאים ל

• עיצוב דמויות למשחקים

  יצירה מהירה של רעיונות למפלצות ויצורים מונפשים בסגנון אחיד ישירות מתיאור טקסט קצר.

• בדיקת יכולות אימון

  מודל ייחוס שמראה איך כוונון קצר וזול משנה לחלוטין את הסגנון של מודל בסיס קיים.

• יצירת אווטארים

  המרת שמות של אנשים או דמויות מוכרות לגרסת פוקימון בלי צורך בהנדסת פרומפטים.

איפה זה נופל

היוצרים מודים בעצמם שמנגנון בדיקת התוכן הרגיש מתבלבל לעיתים קרובות מול התמונות של הפוקימונים ועלול לחסום אותן בטעות, עד כדי כך שהם מציעים בקוד דרך לעקוף אותו. בנוסף, המודל אומן על אנגלית בלבד ולא יבין פרומפטים בעברית. היכולת שלו מוגבלת אך ורק לסגנון הזה, ואי אפשר לייצר איתו תמונות ריאליסטיות או שימושים גרפיים כלליים.

איך מריצים

מריצים אותו בפייתון באמצעות diffusers גרסה 0.3.0 עם חבילות transformers ו־ftfy. הטעינה נעשית בחצי דיוק ישירות לכרטיס מסך תומך קודה. קובץ המשקלים דורש הורדה של כחמישה ג'יגה בייט, כך שצריך כרטיס גרפי עם זיכרון סביר כדי לעבד תמונות בלי חניקה.

אם יש לכם כרטיס מסך מתאים מקומית, ההרצה פשוטה וזולה מאוד כי אין כאן תשתית ענן חובה. שירות חיצוני שווה לבדוק רק אם אין ברשותכם חומרה ייעודית ואין לכם עניין להחזיק שרת דולק בשביל כמה עשרות תמונות בודדות.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lambda/sd-pokemon-diffusers")
img = pipe("a photo").images[0]

הקבצים

17 קבצים במאגר, 5.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• safety_checker/pytorch_model.bin1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• safety_checker/config.json4.7 KB
• README.md2.5 KB
• .gitattributes1.4 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json612 B
• model_index.json541 B
• vae/config.json522 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json279 B

הרישיון

בעמוד המודל לא דווח רישיון כלל. מבחינה משפטית זה אומר שאין לכם הרשאה מפורשת להשתמש במשקלים, להפיץ אותם או לשלב אותם במוצר מסחרי. מעבר להיעדר הרישיון, המודל מתבסס כולו על הקניין הרוחני של פוקימון, ולכן שימוש בו בתוך אפליקציה שמניבה כסף מייצר חשיפה משפטית ברורה.

הרישיון המלא בעמוד המודל ↗