gguf-my-repo
רץ בדפדפןggml-orgרישיון לא דווח2024-03-26
הכלי ממיר מודלים ממאגרים בהאגינג פייס לקבצי GGUF מכווצים ומעלה אותם לחשבון שלכם. הוא מיועד למי שרוצה להריץ מודלים מקומית בתוכנות כמו llama.cpp בלי להגדיר סביבת עבודה במחשב.
- —הורדות בחודש
- 2,079לייקים
מה זה
בוחרים מודל קיים מתוך Hugging Face, מגדירים את שיטת הקוונטיזציה הרצויה, והכלי מוריד את המשקולות, מעבד אותן ומייצר מאגר חדש תחת החשבון שלכם עם הקבצים המוכנים.
מאחורי הקלעים הכלי מריץ את llama.cpp בתוך קונטיינר דוקר. מעבר להמרה רגילה, יש אפשרות להפעיל כיול באמצעות קובץ נתונים ייעודי כדי לשפר את הדיוק של המודל המכווץ, או לפצל את קובצי הפלט לפי גודל או כמות טנזורים אם המודל כבד מדי לקובץ יחיד.
בסיום התהליך המערכת מייצרת דף מודל עם פקודות מוכנות להרצה מקומית דרך llama-cli או שרת llama-server, ומקשרת חזרה למודל המקור.
מתאים ל
- המרת מודל לשימוש מקומי
מייצרים גרסת GGUF ישירות ממאגר קיים כדי לטעון אותה בתוכנות תואמות במחשב האישי.
- כיווץ עם כיול מותאם
מעלים קובץ טקסט לכיול כדי לשמור על דיוק המשקולות בזמן תהליך הקוונטיזציה של המודל.
- פיצול מודלים גדולים
מגדירים חלוקה של קובץ המשקולות לפי נפח מקסימלי כדי להתמודד עם מגבלות אחסון והורדה.
איפה זה נופל
זה לא ממשק שמריץ שיחות או מציג תוצאות טקסט של המודל. הכלי רק מבצע המרה טכנית של קבצים, כך שאי אפשר לבדוק בו ישירות אם המודל עונה טוב בעברית או מבין הנחיות מורכבות.
אם בחרתם שיטת כיווץ אגרסיבית מדי, איכות הפלט של המודל עלולה להיפגע בלי שתראו אזהרה מראש. בנוסף, חובה לוודא מראש שלחשבון שלכם יש הרשאות כתיבה מתאימות כדי שהעלאת הקבצים למאגר החדש לא תיכשל בסוף התהליך.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
השימוש בממשק עצמו פתוח ללא תשלום דרך האתר. כל מה שצריך זה חשבון משתמש מחובר ב־Hugging Face כדי לאפשר יצירה של המאגר החדש.
כמה זמן לוקח לתהליך להסתיים?
זה תלוי בנפח המודל ובשיטה שבחרתם. ההמרה רצה על מאיץ A10G בענן, כך שהיא מהירה משמעותית ממחשב רגיל, אך מודלים ענקיים עדיין דורשים זמן להורדה ולעיבוד.
האם אפשר להריץ את הכלי על המחשב שלי?
כן, הקוד בנוי בתוך Docker וניתן להרצה מקומית. צריך להתחבר ל־CLI של Hugging Face ולהפעיל את הקונטיינר עם משתנה הטוקן האישי שלכם.
האם אפשר להתנסות במודל בתוך הממשק?
לא, הכלי מיועד רק להמרת קבצים ולבניית המאגר החדש. כדי להריץ את המודל ולשוחח איתו תצטרכו להוריד את הקבצים שיצרתם ולהפעיל אותם דרך llama.cpp או כלים דומים.
איך משתמשים
אי אפשר להשתמש בכלי כאורח, חייבים להתחבר עם חשבון Hugging Face באמצעות כפתור ייעודי כדי לאפשר לו לפתוח עבורכם מאגר חדש. בוחרים את המודל בחיפוש המובנה, מסמנים אם המאגר החדש יהיה פרטי או ציבורי, ולוחצים על הפעלה.
העיבוד רץ על חומרת a10g-large בענן, מה שמקצר את זמני ההורדה והחישוב ביחס למחשב ביתי ממוצע. משך הפעולה בפועל תלוי ישירות במשקל המודל שבחרתם ובשאלה אם סימנתם שימוש בקובץ אימון לכיול.
הרישיון
הרישיון של היישום עצמו לא דווח בעמוד המקור. המשמעות היא שאין תנאי שימוש ברורים לגבי הקוד של הכלי עצמו. לגבי המשקולות שנוצרות, הן נגזרות ישירות ממודל המקור שבחרתם, ולכן חובה לבדוק את הרישיון המקורי של המודל כדי לדעת אם מותר להשתמש בתוצרים לצרכים מסחריים.