convert-to-onnx

מה זה

מזינים מזהה מודל קיים מתוך Hugging Face, כמו EleutherAI/pythia-14m או openai-community/gpt2. הקוד מוריד את המשקולות, ממיר אותן לקובצי ONNX ומייצר אוטומטית שורה של גרסאות מכומתות: fp16, int8, uint8, q4, q4f16 וגם bnb4. כל קובץ שנוצר עובר אימות באמצעות ONNX checker, ואם גרסה מסוימת נכשלת בבדיקה, היא נמחקת ונרשמת ביומן במקום לעלות פגומה.

בסיום התהליך מקבלים מאגר חדש תחת החשבון שלכם עם הסיומת ONNX, שמכיל את הקבצים התקינים יחד עם כרטיס מודל מעודכן. הממשק מאפשר גם להגדיר מראש האם לחלץ את סוג המשימה מתוך התגית של המודל, כדי לפתור בעיות בייצוא מפענחים.

מתאים ל

• ייצוא מודלים ל־ONNX

  המרת מודלי שפה קטנים מקטלוג Hugging Face לפורמט סטנדרטי לריצה מהירה.

• כימות קבצים אוטומטי

  יצירת גרסאות משקל מופחתות מסוגי int8, q4 ו־fp16 לבדיקות ביצועים.

• העלאה מסודרת למאגר

  פרסום המשקולות המומרות ישירות לריפו חדש בחשבון האישי שלכם.

איפה זה נופל

השרת הציבורי מוגבל לשישה עשר גיגה זיכרון, ולכן מודלים גדולים יגרמו לקריסת התהליך ולא יומרו כלל. אם המודל דורש גרסת transformers חדשה יותר מזו שנתמכת במערכת, תתקבל שגיאת זיהוי. בנוסף, קוונטיזציות שנכשלות בבדיקת התקינות מושמטות בשקט ממאגר היעד, כך שצריך לבדוק ביומן אילו גרסאות אכן שרדו את התהליך.

איך משתמשים

מדביקים את מזהה המודל בשדה הקלט. כדי לשמור את התוצאה אצלכם, מזינים Hugging Face write token אישי, אחרת ההמרה משתמשת בהגדרות ברירת המחדל של השרת. ניתן לסמן הפעלת קוד מרוחק אם המודל דורש זאת. השרת בענן רץ על חומרת cpu-basic של שתי ליבות ושישה עשר גיגה זיכרון, כך שזמני ההמרה תלויים בגודל הקבצים ומשקלים כבדים עלולים להיתקע מחוסר משאבים.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והרצה עצמית. המודלים שנוצרים והמשקולות המומרות כפופים לתנאי הרישיון המקוריים של המודל שהזנתם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗