mlx-my-repo
רץ בדפדפןmlx-communityרישיון לא דווח2024-10-10
ממירים מודלים ממאגר האגינג פייס לפורמט MLX המיועד למחשבי מק. הכלי מתאים למי שרוצה להריץ מודל שפה מקומית על אפל סיליקון ואין לו כוח להמיר לבד.
- —הורדות בחודש
- 217לייקים
מה זה
אתם בוחרים מודל ממאגר האגינג פייס באמצעות תיבת חיפוש, בוחרים שיטת המרה, והכלי פולט מאגר חדש עם המשקלים המותאמים ישירות לחשבון שלכם. אפשר לבחור בין המרה מדויקת ללא כימות בפורמט float16 לבין המרה מקווצת שמכמתת את המודל למספר ביטים נמוך יותר כדי לחסוך זיכרון עבודה.
מאחורי הקלעים רצה ספריית mlx_lm יחד עם פונקציית convert הרשמית. התהליך מושך את הטוקנייזר ואת משקלי המקור מהמאגר שבחרתם, מבצע את הכימות או ההמרה במקום, ודוחף את התיקייה המוכנה בחזרה לחשבון שלכם תחת השם שלכם. אין כאן מודל שמייצר טקסט עבורכם, אלא כלי עיבוד טהור של קבצי משקלים.
מתאים ל
- המרת מודל שפה למק
לוקחים מודל פתוח ומתאימים אותו להרצה מקומית על אפל סיליקון בלי לפתוח טרמינל מקומי.
- כימות מודל לחסכון בזיכרון
ממירים משקלים כבדים לפורמט מכומת כדי להכניס אותם לזיכרון ה־RAM המאוחד במחשב נייד.
- יצירת מאגר MLX אישי
מייצרים עותק מוכן להורדה ישירות תחת שם המשתמש שלכם בהאגינג פייס לשימוש חוזר.
איפה זה נופל
הקוד מגדיר במפורש איסור על הרצת קוד מרוחק בטעינת הטוקנייזר, כך שמודלים שדורשים קוד מותאם אישית ייכשלו מיד. בנוסף, ההמרה מתבצעת על מעבד כללי בענן ולא על שבב אפל מקורי, והיא מיועדת אך ורק למודלי שפה שנתמכים בספריית mlx_lm. אל תצפו להמיר כאן מודלי תמונה או ארכיטקטורות לא סטנדרטיות.
שאלות
נפוצות
האם השימוש בכלי עולה כסף?
השימוש חופשי לגמרי בדפדפן. כל מה שצריך זה חשבון האגינג פייס פעיל כדי לאשר את החיבור ולאפשר לו ליצור עבורכם את המאגר החדש. אין דרישה לכרטיס אשראי או תשלום על זמן הריצה.
מה קורה עם הקבצים והמודלים שאני מעלה?
אתם לא מעלים קבצים מהמחשב אלא בוחרים מודל שכבר קיים ברשת. התוצר נשמר כמאגר חדש בחשבון שלכם, ורק לכם יש שליטה על השאלה אם הוא יהיה ציבורי לכולם או פרטי לחלוטין.
כמה זמן לוקח תהליך ההמרה?
זה תלוי ישירות בגודל המודל שבחרתם ובשיטת הכימות. השרת שמבצע את העבודה רץ על מעבד רגיל מסוג cpu-xl, ולכן מודלים של מיליארדי פרמטרים ידרשו המתנה ממושכת עד להורדה, לעיבוד ולהעלאה מחדש.
האם אפשר להריץ את זה מקומית על המחשב שלי?
בהחלט, התוכנה משתמשת בספריית mlx_lm הפתוחה מבית אפל. אם יש לכם מחשב מק עם שבב תואם, אפשר להתקין את הספרייה בפייתון ולהריץ את פקודת ההמרה ישירות בטרמינל הפרטי שלכם בלי שום תלות בענן.
איך משתמשים
אי אפשר להשתמש בכלי סתם כך בלי להתחבר. לוחצים על כפתור ההתחברות לחשבון האגינג פייס כדי לתת לו הרשאות לפתוח מאגרים בשמכם, בוחרים מודל ושיטת המרה, ומריצים. החומרה שמריצה את זה היא מעבד רגיל ברמת cpu-xl, כך שהמרת מודלים גדולים במיוחד תיקח זמן ולא תסתיים תוך שניות בודדות.
הרישיון
הרישיון של המרחב עצמו לא דווח ולא ידוע. המשמעות היא שהקוד פתוח לצפייה אך אין לו היתר שימוש מוגדר, והמודלים שאתם מייצרים כפופים לחלוטין לרישיון המקורי של המודל שבחרתם להמיר.