controlnet-hands

מה זה

מעלים תמונה של יד מהמחשב או מצלמים ישירות במצלמת הרשת, מקלידים הנחיית טקסט רגילה והנחיה שלילית, ולוחצים על שליחה. האפליקציה מחלצת את נקודות הציון של היד ומחזירה גלריית תמונות שנוצרו לפי הפוזה המדויקת.

מתחת למכסה המנוע רץ שילוב של MediaPipe לזיהוי מפרקי היד יחד עם Stable Diffusion בגרסה 1.5, כשהשליטה נעשית באמצעות מודלי ControlNet של MakiPan ושל Vincent-luo שנבנו על גבי Flax ו־JAX. בממשק יש בחירה בין שני מצבי עיבוד: מצב סטנדרטי לפי נקודות רגילות, או מצב קידוד ייחודי שצובע את מפרקי כף היד בגוונים שונים כדי להבדיל בבירור בין יד ימין ליד שמאל, מודל שאומן על מאגרי HaGRID.

מתאים ל

• יצירת פוזות יד מותאמות

  צילום כף היד במצלמת הרשת והפיכתה לבסיס עבור תמונה חדשה ששומרת על אותה מחווה בדיוק.

• הפרדה בין ימין לשמאל

  שימוש במצב הקידוד המיוחד כדי למנוע יצירת שתי ידיים ימניות או אצבעות הפוכות בציור הסופי.

• בדיקת מודל ControlNet

  בחינת הביצועים של מודלי הידיים של MakiPan על גבי JAX ישירות בדפדפן בלי צורך בהתקנה מקומית.

איפה זה נופל

הבעיה המרכזית כרגע היא שהאפליקציה פשוט תקועה על שגיאת ריצה ולא עובדת. מעבר לזה, MediaPipe תלוי באיכות התמונה שמזינים לו, ואם היד מטושטשת או מוסתרת חלקית, חילוץ המפרקים ייכשל והתוצאה תתעוות.

המערכת מבוססת על שלד ישן של גרסה 1.5, כך שאיכות הרינדור הכללית מוגבלת ביחס למה שקיים כיום. בנוסף, הדוגמאות השמורות מראש מייצרות ציפייה לדיוק מושלם, אבל צילום מהיר ממצלמת רשת ביתית בתאורה חלשה כנראה יתקשה לתת תוצאה נקייה.

איך משתמשים

בממשק בוחרים את סוג המודל, מזינים טקסט, מעלים תמונה או פותחים מצלמה, ולוחצים על כפתור השליחה. אין צורך בהרשמה או התחברות כדי לגשת למסך.

הקוד הוגדר לרוץ על מעבד גרפי A10G Large, חומרה חזקה שאמורה להחזיר תוצאות בתוך שניות בודדות דרך הספריות של Flax. עם זאת, בעמוד עצמו מופיעה כרגע שגיאת הרצה (Runtime Error), כך שבפועל אי אפשר לייצר תמונות כרגע דרך הדפדפן עד שהמפתח יתקן את הקריסה.

הרישיון

הרישיון של המרחב לא דווח כלל על ידי היוצרים. במצב כזה אין הרשאה משפטית ברורה לשימוש מסחרי בקוד או בתוצרים, ולכן לא מומלץ להסתמך עליהם לפרויקטים מסחריים. התמונות שאתם מעלים מגיעות לשרת שמריץ את הממשק.

הרישיון המלא ב־Hugging Face ↗