gguf-my-lora

מה זה

אתם מספקים מזהה של מאגר LoRA מבוסס PEFT מתוך Hugging Face, מגדירים את מודל הבסיס ובוחרים שיטת כימות. הקוד מוריד את הקבצים של המתאם, מריץ תהליך המרה פנימי של ggml ומייצר קובץ GGUF מוכן לשימוש.

בסיום ההמרה הקוד פותח מאגר חדש ישירות תחת שם המשתמש שלכם ב־Hugging Face, מעלה אליו את הקובץ שיצר ויוצר דף מודל מקושר למקור. אין כאן מודל שפה שמייצר טקסט, אלא תשתית טכנית נטו שנועדה לחבר בין אימוני PEFT לבין הרצה מקומית.

מתאים ל

• המרה ל־llama.cpp

  הסבת מתאמי PEFT לקובצי GGUF מוכנים לטעינה בשרת מקומי.

• פרסום מתאמים מכומתים

  יצירה אוטומטית של מאגר חדש בחשבון שלכם עם קובץ GGUF.

• חיסכון בהמרה מקומית

  ביצוע תהליך ההמרה בענן בלי להתקין סקריפטים וספריות במחשב.

איפה זה נופל

זה לא כלי לאימון מודלים ואין לו שום דרך להריץ או לבדוק את התוצאה בדפדפן. אם המתאם פגום במקור או שמודל הבסיס שהזנתם לא תואם, תגלו את זה רק כשתנסו להפעיל את הקובץ הסופי ב־llama.cpp. בנוסף, חובה לתת הרשאות לחשבון שלכם כי הקוד חייב לפתוח אצלכם מאגר כדי להחזיר פלט.

איך משתמשים

אי אפשר לעשות פה כלום בלי להתחבר עם חשבון Hugging Face דרך כפתור הכניסה בממשק. אחרי החיבור מזינים את שמות המאגרים, בוחרים אם התוצאה תהיה פרטית ומאשרים. התהליך רץ על מעבד משודרג, cpu-upgrade, כך שזמן ההמתנה תלוי בעיקר בנפח המתאם שמועבר וקצב ההורדה וההעלאה לרשת.

הרישיון

הרישיון לא דווח בעמוד. המשמעות היא שאין תנאי שימוש מוגדרים לכלי עצמו, והשימוש בקבצים המומרים תלוי ברישיונות של מודל הבסיס ושל מתאם ה־LoRA המקורי שאתם ממירים.

הרישיון המלא ב־Hugging Face ↗