gguf-convertor

מה זה

אתם בוחרים מודל מתוך Hugging Face בעזרת שדה החיפוש המובנה, מגדירים את שיטת הקוונטיזציה הרצויה מתוך תפריט הבחירה, ומזינים כתובת אימייל לקבלת עדכון על התהליך.

הקוד שולח בקשה חיצונית עם פרטי המאגר, שיטת הכיווץ, שם המשתמש והטוקן שלכם. התוצר הסופי הוא מודל שמומר לפורמט GGUF, שמיועד בעיקר להרצה יעילה וקלה על מעבדים ביתיים וכרטיסי מסך צרכניים.

אין בממשק רשימת דוגמאות מוכנה מראש לבדיקה מהירה בקליק אחד. כדי להתחיל לעבוד איתו צריך לבוא מראש עם שם של מודל קיים שאתם רוצים להמיר, להזין אותו ידנית ולוודא שיש לכם הרשאות מתאימות עבורו.

מתאים ל

• המרת מודל להרצה מקומית

  הפיכת מודלים רגילים מקוד פתוח לקובצי GGUF שמתאימים לתוכנות צד לקוח.

• כיווץ מודלים בחומרה חלשה

  שליחת בקשת קוונטיזציה ישירות מהדפדפן בלי צורך להחזיק כרטיס מסך חזק במחשב.

• התאמת שיטת קוונטיזציה

  בחירת שיטת כיווץ ספציפית מתוך רשימה כדי לאזן בין איכות המודל לנפח הזיכרון.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת כרגע במצב מושהה ולא פעילה בדפדפן. בנוסף, חובה לתת הרשאות גישה לחשבון שלכם כדי להריץ אותה, והיא תלויה לחלוטין בשירות חיצוני שמקבל את הבקשות. אם תזינו מודל פרטי בלי לתת גישה מפורשת, התהליך ייכשל, ולא מפורט בקוד כמה זמן לוקח התהליך בפועל או לאן בדיוק נשמרים הקבצים בסיום.

איך משתמשים

אי אפשר להשתמש בכלי באופן אנונימי. אתם חייבים להתחבר דרך כפתור הכניסה של Hugging Face ולאשר הרשאת קריאה למאגרים שלכם שתקפה לשישים דקות, לצד הזנת כתובת אימייל תקינה. הממשק רץ על חומרת מעבד בסיסית, מה שאומר שההמרה הכבדה של משקלי המודל נשלחת לשרת מרוחק דרך קריאת רשת ולא מתבצעת ישירות בתוך הדפדפן שלכם.

הרישיון

הקוד מופץ תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש, שיתוף והתאמה של הקוד למטרות לא מסחריות בלבד, עם מתן קרדיט ליוצרים. לגבי המודלים המומרים, תנאי השימוש תלויים ברישיון המקורי של המודל שבחרתם להמיר.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗