GPT
C

convert

רץ בדפדפן

safetensorsapache-2.02022-10-28

  • gradio

הכלי ממיר משקלי מודלים מפורמטים ישנים לפורמט safetensors ופותח בקשת משיכה ישירות במאגר היעד. הוא מיועד למי שמנהל מודלים ב־Hugging Face ורוצה להיפטר מקובצי pickle מסוכנים.

  • הורדות בחודש
  • 267לייקים

מה זה

אתם מזינים מזהה מודל מ־Hugging Face, מסמנים אם מדובר במאגר פרטי, ומספקים טוקן גישה במקרה הצורך. הפונקציה convert מושכת את המאגר, מבצעת את ההמרה של המשקלים לפורמט safetensors, ופותחת Pull Request אוטומטי במאגר המקורי עם הקבצים החדשים. נתוני ההמרות נרשמים גם בדאטהסט safetensors/conversions.

הממשק פשוט מאוד וכולל רק שדות קלט למזהה המודל, תיבת סימון לפרטיות וכפתור הפעלה. אין כאן מודל בינה מלאכותית שמייצר תוכן, אלא סקריפט תשתיתי שמעביר משקלים קיימים למבנה קבצים בטוח ויעיל יותר לקריאה.

מתאים ל

  • המרת מודל לפורמט בטוח

    החלפת קובצי bin ישנים של PyTorch בקובצי safetensors כדי למנוע הרצת קוד זדוני.

  • פתיחת PR אוטומטי

    יצירת בקשת משיכה ישירות למאגר ציבורי או פרטי עם המשקלים המומרים בלי לעבוד ידנית.

  • המרת מודלים פרטיים

    הזנת טוקן מתאים להמרת משקלים במאגרים סגורים שדורשים הרשאות גישה.

איפה זה נופל

נכון לעכשיו המרחב נמצא במצב של שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן בלי שהמפתח יתקן את התקלה. בנוסף, הכלי לא ממיר קבצים מקומיים מהמחשב שלכם, אלא דורש שהמודל כבר יהיה קיים ומאוחסן במאגר מקוון.

שאלות
נפוצות

האם השימוש בכלי עולה כסף?

לא, השימוש חופשי לחלוטין דרך הדפדפן. כל מה שצריך זה חשבון ב־Hugging Face וטוקן מתאים אם עובדים על מודל פרטי.

למה הממשק מציג שגיאה ולא עובד?

האפליקציה נמצאת כרגע בסטטוס RUNTIME_ERROR בצד השרת. כל עוד מפתח הכלי לא יעדכן את הקוד או את התלויות, לא ניתן להריץ דרכה המרות.

האם אפשר להעלות קובץ ישירות מהמחשב?

לא, הממשק מקבל רק מזהה מאגר קיים ב־Hugging Face. אם יש לכם קבצים על המחשב, תצטרכו להעלות אותם קודם למאגר ברשת.

האם אפשר להריץ את זה מקומית?

כן, הקוד מבוסס על פייתון עם ספריות huggingface_hub ו־convert תחת רישיון apache-2.0. אפשר לקחת את הלוגיקה ולהריץ אותה ישירות במחשב שלכם.

איך משתמשים

מקלידים את שם המאגר בשדה model_id, מוסיפים טוקן אם המאגר מוגדר כפרטי, ולוחצים על Submit. התהליך מוגדר עם מגבלת מקביליות של פעולה אחת בכל פעם, כך שאם מישהו אחר מריץ המרה, תצטרכו להמתין. השרת רץ על מעבד מסוג cpu-xl, כך שמשך הפעולה תלוי בעיקר בגודל המודל ובזמן ההורדה וההעלאה של הקבצים מול השרתים של Hugging Face.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. המשקלים שמומרים נשארים תחת הרישיון המקורי של יוצר המודל, ופרטי ההמרה נשמרים בדאטהסט ציבורי ייעודי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗