em_german_leo_mistral-GGUF

קוד פתוח

TheBlokeapache-2.02023-10-10

transformers
gguf
mistral
pytorch
german

גרסת GGUF מכווצת של מודל שבעה מיליארד פרמטרים שמתמחה בגרמנית. הפתרון מיועד למי שחייב להריץ מודל שיחה והוראות מקומית בלי תלות ברשת.

51.2 GBמשקל הקבצים
2,765הורדות בחודש
41לייקים

מה זה

המודל הזה נבנה על בסיס Mistral ועבר אימון מקדים נוסף על טקסטים בגרמנית דרך פרויקט LeoLM, ולאחר מכן כוונון עדין על מערך נתונים של הוראות. TheBloke לקח את המשקלים המקוריים של Jan Philipp Harries והמיר אותם לפורמט GGUF, כך שניתן להריץ אותם על מעבדים גרפיים צנועים או על מעבדי מחשב רגילים.

הייעוד המרכזי כאן הוא שפה גרמנית. מודלים כלליים באותו גודל מגיבים לרוב באנגלית מעורבת או שוברים ניסוחים תחביריים מורכבים בגרמנית, ואילו העיבוד המקדים כאן נועד לייצב את איכות הפלט ולהתמודד עם מונחים מקצועיים ומבנים לשוניים ארוכים.

בכרטיס המודל אין מדדי ביצועים מספריים או לוחות השוואה מפורטים. היוצר טוען שזו האפשרות החזקה ביותר בגרמנית מבין מודלי שבעה מיליארד פרמטרים פתוחים, אך כדי לאמת את זה מול המשימות שלכם, תצטרכו להריץ מבחנים ישירות על הטקסטים שלכם.

מתאים ל

בוט שירות בגרמנית
הרצת צ'אט אוטומטי שדובר גרמנית רהוטה על שרת מקומי קטן ללא עלויות ענן.
ניתוח מסמכים מקומי
עיבוד מידע וטקסטים בגרמנית בתוך רשת ארגונית מבודדת ללא הוצאת נתונים החוצה.
חילוץ מידע לפי מבנה
תמיכה במבנה פקודות Vicuna לייצור תשובות מובנות מתוך טקסטים בגרמנית.

איפה זה נופל

המודל ממוקד כולו בגרמנית. אם אתם מחפשים מענה בעברית או באנגלית, תקבלו תוצאות חלשות בהרבה ממודלים כלליים. הכרטיס אינו כולל שום מבחני ביצועים תקניים או תוצאות מדידה מספריות, כך שאין הוכחה מדעית לטענות על איכותו. בנוסף, חלון ההקשר בהגדרת ברירת המחדל עומד על 2048 טוקנים בלבד, מה שמגביל מאוד ניתוח של מסמכים ארוכים.

שאלות
נפוצות

האם המודל תומך בעברית?

לא. המודל עבר אימון מקדים והתאמה ייעודית לגרמנית בלבד. כל ניסיון לעבוד איתו בעברית יפיק פלטים משובשים או שגויים לחלוטין.

איזה קובץ כדאי להוריד מהמאגר?

עבור רוב השימושים מומלץ להוריד את גרסת Q4_K_M. היא שוקלת 4.37 גיגה בייט, שומרת על איזון טוב בין איכות הטקסט לצריכת משאבים, ודורשת פחות משבעה גיגה בייט זיכרון.

איך מריצים

כדי להריץ אותו צריך להוריד קובץ בודד מהמאגר ולא לשכפל את כל התיקייה. הקבצים נעים בין 3.08 גיגה בייט בכימות הנמוך ביותר ועד 7.70 גיגה בייט בגרסת שמונה ביט, כאשר מפתחי המודל ממליצים על גרסת Q4_K_M שדורשת בערך 6.87 גיגה בייט זיכרון עבודה בריצה על מעבד רגיל.

אפשר לטעון את הקובץ באמצעות llama.cpp, תוכנות כמו LM Studio, או בספריות פייתון דוגמת ctransformers ו־llama-cpp-python. אם יש לכם מעבד גרפי של 8 עד 12 גיגה בייט VRAM, המודל ייכנס אליו בשלמותו וירוץ במהירות גבוהה בלי שתצטרכו לשלם על קריאות API חיצוניות.

ollama run hf.co/TheBloke/em_german_leo_mistral-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_07.7 GB Q6_K5.9 GB Q5_K_M5.1 GB Q5_05.0 GB Q5_K_S5.0 GB Q4_K_M4.4 GB Q4_K_S4.1 GB Q4_04.1 GB Q3_K_L3.8 GB Q3_K_M3.5 GB Q3_K_S3.2 GB Q2_K3.1 GB

הקבצים

15 קבצים במאגר, 51.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש במודל לצרכים מסחריים ופרטיים, לשנות אותו, להפיץ אותו ולהטמיע אותו בתוך מערכות סגורות, כל עוד מצרפים עותק של הרישיון המקורי ומציינים את זכויות היוצרים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗