stable-diffusion-xl-1.0-tensorrt

קוד פתוח

stabilityaiopenrail++2023-08-22

tensorrt
onnx
stable-diffusion
stable-diffusion-xl
stable-diffusion-xl-lcm

גרסה ממוטבת של מחולל התמונות המוכר לעבודה ישירה על כרטיסי אנבידיה. המטרה כאן היא מהירות הפקה נטו בלי לגעת באיכות הבסיסית של המודל.

26.1 GBמשקל הקבצים
311הורדות בחודש
155לייקים

מה זה

המאגר כולל קובצי ONNX שהוכנו בשיתוף פעולה עם אנבידיה עבור מודל הבסיס והמרטש של גרסה אחת אפס, יחד עם התאמות לטכנולוגיית LCM. המטרה היא להמיר את המודלים למנועי TensorRT כדי לקצר זמני חישוב בעת הפקת תמונות מטקסט.

בבדיקות של שלושים צעדים ברזולוציה של 1024 על 1024, החיסכון בזמן מורגש בעיקר בחומרה חזקה. על כרטיס A10 השיפור עומד על כ־13 אחוז בלבד, בעוד שעל כרטיס H100 זמן ההפקה יורד ב־41 אחוז, מ־2496 מילישניות ל־1471 מילישניות, וקצב העבודה עולה ב־70 אחוז ומגיע ל־0.68 תמונות בשנייה. בגרסת LCM עם ארבעה צעדים, המודל מסיים ריצה ב־234 מילישניות בלבד על H100.

מתאים ל

ייצור תמונות בזמן אמת
גרסת ה־LCM מאפשרת לייצר תמונה בארבעה צעדים תוך פחות מרבע שנייה על מעבדי H100.
הפקת תמונות בכמויות
המיטוב מגדיל את קצב הייצור ל־0.68 תמונות בשנייה על שרתי H100 לעומת הגרסה הרגילה.
עבודה עם LoRA מואץ
המאגר כולל תמיכה ישירה ב־LCM-LoRA להאצת תהליכי הפקה עם התאמות מותאמות אישית.

איפה זה נופל

המודל מיועד אך ורק להרצה על כרטיסי מסך של אנבידיה, כך שחומרה של יצרנים אחרים פשוט לא רלוונטית כאן. המודל תומך בהנחיות באנגלית בלבד לפי התיעוד, מה שמחייב תרגום מראש אם הקלט שלכם בעברית.

בנוסף, בניית המנוע מבוצעת עבור כרטיס מסך ספציפי, ולכן אי אפשר להעביר קובצי מנוע מוכנים בין כרטיסים שונים בלי לקמפל אותם מחדש. על חומרה חלשה יותר כמו A10 שיפור המהירות עומד על כ־13 אחוז בלבד, מה שלא תמיד מצדיק את סרבול ההתקנה.

שאלות
נפוצות

האם אפשר להשתמש במנוע המוכן בכרטיס מסך שונה מזה שבו הוא נבנה?

לא. ההרצה הראשונה מייצרת קובצי תוכנית שמותאמים בדיוק לחומרה שעליה רצה הפקודה. אם תעברו לכרטיס אחר, תצטרכו להפיק את המנוע מחדש.

מה ההבדל בין גרסת הבסיס לגרסת ה־LCM במאגר?

גרסת הבסיס דורשת כשלושים צעדי דגימה לאיכות מלאה, בעוד שגרסת ה־LCM מגיעה לתוצאה בארבעה צעדים בלבד ומקצרת משמעותית את זמן ההמתנה לתמונה.

איך מריצים

כדי להריץ את המודל צריך סביבת דוקר של אנבידיה עם תמיכה ב־TensorRT 9.2 והורדה של קובצי המאגר. בהפעלה הראשונה המערכת בונה קובצי תוכנית ייעודיים לכרטיס המסך הספציפי שבו אתם משתמשים, תהליך שלוקח זמן נוסף אך נשמר לריצות הבאות.

הריצה דורשת חומרת שרתים ייעודית מסוג A10, A100 או H100 כדי לראות את יתרונות המהירות. אם אין לכם גישה למעבדים גרפיים כאלה בענן או בחומרה מקומית, פנייה ל־API חיצוני תהיה פשוטה וזולה יותר מתחזוקת תשתית כבדה כזו.

pip install -U huggingface_hub
hf download stabilityai/stable-diffusion-xl-1.0-tensorrt

הקבצים

21 קבצים במאגר, 26.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא CreativeML Open RAIL++-M. מותר להשתמש בו לצרכים מסחריים ומחקריים, אך השימוש כפוף להגבלות אתיות שמונעות יישומים פוגעניים או פעילות לא חוקית לפי תנאי הרישיון.

שימוש מסחרי
שינוי הקוד
מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗