Real-ESRGAN-x4plus

מה זה

מדובר בייצוא ייעודי של Real-ESRGAN-x4plus, שנועד למשימות רזולוציית-על. המודל מגדיל תמונות פי 4 ומנסה לשחזר פרטים שאבדו בלי למרוח אותם. בהשוואה לארכיטקטורת Real-ESRGAN-general-x4v3, הגרסה הזו כבדה וחזקה יותר, עם 16.7 מיליון פרמטרים.

הייחוד כאן הוא האופטימיזציה ל־NPU של מעבדי Snapdragon. לפי המדידות, גרסת ה־w8a8 המכומתת רצה במהירות יוצאת דופן על חומרה חדשה, כמו 7.576 מילישניות בלבד ב־TFLite על Snapdragon 8 Elite Gen 5, או סביב 10 מילישניות ב־ONNX על Snapdragon X2 Elite. זה אומר שאפשר לשלב אותו בתוך תהליך עיבוד תמונה חי כמעט בלי לעכב את המערכת.

מתאים ל

• השבחת תמונות במכשיר נייד

  מאפשר הגדלת תמונות פי ארבעה ישירות על הטלפון תוך עשרות מילישניות, בלי לשלוח שום קובץ לרשת.

• שיפור וידאו במערכות רכב

  מתאים לשבבי Qualcomm SA8650P ודומיהם, עם זמני ריצה של כ־21 מילישניות בכימות w8a8.

• עיבוד תמונה במחשבי קצה

  ניצול ה־NPU של מחשבי Snapdragon X Elite להרצת שדרוג תמונה מקומי בצריכת משאבים נמוכה.

איפה זה נופל

המגבלה הכי גדולה בקבצים המוכנים היא רזולוציית הקלט, שנעולה על 128x128 פיקסלים ומייצרת פלט של 512x512 בלבד. אם יש לכם תמונות מלאות, תצטרכו לחתוך אותן לאריחים ולתפור בחזרה, או לקמפל קובץ חדש עם קלט מותאם. בנוסף, צריכת הזיכרון בעת הריצה קופצת מאוד בחלק מהשבבים הניידים, עם פיקים שמגיעים ליותר מ־700 מגה-בייט במכשירי Snapdragon 8 Gen 1 ו־Gen 3. במכשירים חלשים יותר, כמו Dragonwing Q-6690, זמני הריצה מזנקים לכמעט חצי שנייה לתמונה בודדת.

איך מריצים

קוואלקום מציעה כאן קבצים מוכנים מראש בשלושה פורמטים: ONNX, QNN_DLC ו־TFLite, כולם זמינים בדיוק רגיל (float) או בכימות w8a8. כדי להריץ אותם צריך סביבה תומכת כמו QAIRT 2.45 או ONNX Runtime 1.27.1, לצד חומרת Snapdragon מתאימה כדי לנצל את ה־NPU. מי שרוצה לשנות גדלי קלט או להשתמש במשקלים אחרים צריך להשתמש בספריית qai_hub_models ולייצא מחדש.

מבחינת משאבים, גרסת ה־float שוקלת 63.9 מגה-בייט והכימות חותך אותה ל־16.7 מגה-בייט. אם הציוד שלכם אינו מבוסס קוואלקום, או שאתם עובדים על מחשב רגיל בלי גישה ל־NPU הייעודי, עדיף להריץ את המודל המקורי של PyTorch או לפנות ל־API חיצוני.

pip install -U huggingface_hub
hf download qualcomm/Real-ESRGAN-x4plus

הקבצים

4 קבצים במאגר, 18 KB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• README.md14.2 KB
• release_assets.json2.4 KB
• .gitattributes1.9 KB
• LICENSE118 B

הרישיון

הרישיון הוא BSD-3-Clause, שמאפשר שימוש מסחרי, שינוי קוד והפצה בלי תמלוגים. התנאים העיקריים הם שמירה על הודעת זכויות היוצרים ונוסח הרישיון, ואיסור על שימוש בשם המפתחים לקידום מוצרים נגזרים בלי אישור מראש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗