Quant
רץ בדפדפןKBaba7רישיון לא דווח2025-02-07
הכלי מיועד למי שרוצה לכווץ מודלי שפה פתוחים ולהעלות אותם ישירות לחשבון שלו. מזינים שם של מודל ומקבלים גרסה מכווצת שמועלית למאגר מוגדר.
- —הורדות בחודש
- 51לייקים
מה זה
מזינים לממשק מזהה של מודל מתוך Hugging Face, יחד עם טוקן גישה אישי ושם המאגר שאליו רוצים לדחוף את התוצאה. הקוד מוריד את הקבצים של המודל המקורי למחשב המקומי באמצעות snapshot_download, מריץ תהליך קוונטיזציה, ומעלה את התוצר הסופי ישירות לתוך מאגר מודלים חדש או קיים.
ברשימת המודלים שהוגדרו סביבו נמצאים מודלים כבדים כמו TheProfessor-155b ו־Yi-34B לצד מודלים קטנים יותר מסדרת bitnet ו־42dot. הממשק נשען על Streamlit ומכיל שדות טקסט פשוטים להזנת המזהים והטוקן.
מתאים ל
- הורדת מודל פתוח
משיכת קובצי מודל ישירות מהמאגר של Hugging Face לסביבת העבודה המקומית.
- העלאת תוצרים למאגר
יצירה אוטומטית של ריפו חדש והעלאת המודל המעובד אליו באמצעות טוקן אישי.
- קוונטיזציה של מודלים
כיווץ משקלי מודלים פתוחים לנפח קטן יותר כדי להקל על הריצה שלהם.
איפה זה נופל
הבעיה המיידית היא שהיא פשוט שבורה בעמוד ולא נטענת. מעבר לזה, רשימת המודלים כוללת משקלים עצומים שלא מסוגלים לעבור עיבוד על מעבד בסיסי בלי כרטיס מסך רציני. אם בניתם על ממשק מוכן שרק מקליקים בו ומקבלים קובץ מוכן תוך דקה, זה לא המצב כאן.
שאלות
נפוצות
האם האפליקציה זמינה לשימוש עכשיו בדפדפן?
לא, כרגע מוגדר עליה מצב שגיאת בנייה ולכן העמוד לא נטען בכלל. תצטרכו לחכות שהמפתח יתקן אותה או לקחת את הקוד ולהריץ אותו באופן עצמאי. בלי תיקון של הקונטיינר אי אפשר להשתמש בממשק שלה.
האם השימוש בה עולה כסף?
האפליקציה עצמה יושבת על תשתית חינמית עם מעבד בסיסי, כך שאין תשלום על עצם הכניסה. עם זאת, פעולות כבדות דורשות שדרוג של החומרה בתשלום כדי שלא יקרסו באמצע. כל עוד היא מושבתת השאלה הזו ממילא פחות רלוונטית.
איך התוצרים מגיעים אליי בסיום התהליך?
הקוד לא מוריד קובץ ישירות לדפדפן שלכם אלא משתמש ב־HfApi כדי לדחוף את המודל לחשבון שלכם. אתם מזינים טוקן ושם מאגר, והמערכת יוצרת את הריפו ומעלה לשם את הקבצים. משם תוכלו למשוך את המודל לכל מחשב שתרצו.
האם אפשר להריץ את הכלי הזה על המחשב שלי?
כן, הקוד כתוב בפייתון עם ספריית Streamlit פשוטה ורץ בתוך Docker. אפשר להוריד את הקבצים, להגדיר את הדרישות ולהפעיל מקומית דרך הטרמינל. אם יש לכם כרטיס מסך חזק בבית, זה יעבוד הרבה יותר טוב מהחומרה המוגבלת שמוגדרת לה שם.
איך משתמשים
בפועל כרגע אי אפשר ללחוץ על כלום בדפדפן כי האפליקציה נמצאת במצב שגיאת בנייה ולא עולה. אם תתקנו ותריצו אותה בעצמכם, תצטרכו להדביק טוקן של Hugging Face, לבחור יעד ולחכות להורדה, לעיבוד ולהעלאה. על חומרת ברירת המחדל הבסיסית של מעבד בלבד, תהליך כזה על מודלים של עשרות מיליארדי פרמטרים ייקח שעות ארוכות או יקרוס מחוסר זיכרון.
הרישיון
היוצר לא פרסם רישיון לתוכנה הזאת. מבחינה משפטית הקוד מוגן בזכויות יוצרים מלאות ואי אפשר לדעת אם מותר להעתיק או לשלב אותו בפרויקטים שלכם, מעבר למגבלות הרישיון הנפרדות של כל מודל שתבחרו להוריד.