dolphin-2.9.2-qwen2-7b-gguf

מה זה

מדובר בכימות של dolphin-2.9.2-qwen2-7b שבוצע באמצעות llama.cpp עם imatrix, במטרה לשמר דיוק מרבי גם ברמות דחיסה אגרסיביות. המודל מבוסס על שושלת דולפין של cognitivecomputations, שידועה בכך שהיא מסירה מגבלות צנזורה ומאפשרת למודל לענות על הוראות באופן ישיר וחופשי יותר ממה שמקובל במודלים מסחריים רגילים.

הבסיס כאן הוא ארכיטקטורת Qwen2 בגודל שבעה מיליארד פרמטרים, מה שנותן נקודת פתיחה חזקה מאוד להבנת שפה וקוד ביחס לגודל. הכימות שמופיע כאן מחלק את המודל לגרסאות שונות כדי לאפשר לכם לבחור בדיוק את האיזון הנכון בין תפיסת זיכרון לבין איכות הפלט הסופית על החומרה שלכם.

מתאים ל

• הרצה מקומית על מחשב יחיד

  הוא מגיע בפורמט GGUF קל לטעינה שנכנס גם למחשבים אישיים עם כרטיס מסך בסיסי.

• סביבות פיתוח לא מצונזרות

  סדרת דולפין בנויה לענות על כל פקודה ישירות בלי להפעיל מנגנוני סירוב עצמיים.

• ניסויי שפה ללא חיבור רשת

  המודל פועל במלואו על החומרה המקומית בלי לשלוח מידע החוצה ובלי עלויות לפי טוקן.

איפה זה נופל

הכרטיס לא מציג מבחני ביצועים מסודרים, ציוני בנצ'מרק או נתונים על יכולות בשפות שאינן אנגלית. בנוסף, קובצי IQ אינם נתמכים בסביבת Vulkan, והם רצים לאט יותר על מעבדים רגילים ועל שבבי אפל בהשוואה לגרסאות K הרגילות. לפני שמשלבים אותו במערכת אמיתית, חייבים לבדוק עצמאית שהוא אכן עומד בדרישות התוכן והדיוק שלכם.

אותה משפחה

dolphin-2.9.2-qwen2 יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

מורידים קובץ בודד בפורמט GGUF בעזרת huggingface-cli ומריצים אותו ישירות מעל llama.cpp או תוכנות כמו LM Studio. כדי לקבל ביצועים מהירים באמת, עדיף לבחור קובץ שמשקלו קטן בגיגהבייט או שניים מסך זיכרון ה־VRAM של כרטיס המסך שלכם, כך שכל המשקלים יישבו ישירות על ה־GPU.

אם אין לכם כרטיס עם מספיק זיכרון, אפשר לחלק את העומס בין ה־VRAM לזיכרון ה־RAM של המחשב. מי שמשתמש בכרטיסי Nvidia עם cuBLAS או ב־AMD עם rocBLAS יכול לבחור בגרסאות ה־imatrix הנמוכות כמו IQ3_M כדי לחסוך מקום, בעוד שמשתמשי מעבד רגיל או Metal במק יעדיפו לרוב קובצי K-quants קלאסיים כמו Q4_K_M או Q5_K_M כדי לא לפגוע במהירות הריצה.

ollama run hf.co/dphn/dolphin-2.9.2-qwen2-7b-gguf:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

הקבצים

26 קבצים במאגר, 107 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• dolphin-2.9.2-qwen2-7b-f32.gguf30.5 GB
• dolphin-2.9.2-qwen2-7b-Q8_0.gguf8.1 GB
• dolphin-2.9.2-qwen2-7b-Q6_K.gguf6.3 GB
• dolphin-2.9.2-qwen2-7b-Q5_K_M.gguf5.4 GB
• dolphin-2.9.2-qwen2-7b-Q5_K_S.gguf5.3 GB
• dolphin-2.9.2-qwen2-7b-Q4_K_M.gguf4.7 GB
• dolphin-2.9.2-qwen2-7b-Q4_K_S.gguf4.5 GB
• dolphin-2.9.2-qwen2-7b-IQ4_NL.gguf4.4 GB
• dolphin-2.9.2-qwen2-7b-IQ4_XS.gguf4.2 GB
• dolphin-2.9.2-qwen2-7b-Q3_K_L.gguf4.1 GB
• dolphin-2.9.2-qwen2-7b-Q3_K_M.gguf3.8 GB
• dolphin-2.9.2-qwen2-7b-IQ3_M.gguf3.6 GB
• dolphin-2.9.2-qwen2-7b-IQ3_S.gguf3.5 GB
• dolphin-2.9.2-qwen2-7b-Q3_K_S.gguf3.5 GB
• dolphin-2.9.2-qwen2-7b-IQ3_XS.gguf3.3 GB
• dolphin-2.9.2-qwen2-7b-IQ3_XXS.gguf3.1 GB
• dolphin-2.9.2-qwen2-7b-Q2_K.gguf3.0 GB
• dolphin-2.9.2-qwen2-7b-IQ2_M.gguf2.8 GB
• dolphin-2.9.2-qwen2-7b-IQ2_S.gguf2.6 GB
• dolphin-2.9.2-qwen2-7b-IQ2_XS.gguf2.5 GB
• dolphin-2.9.2-qwen2-7b-IQ2_XXS.gguf2.3 GB
• dolphin-2.9.2-qwen2-7b-IQ1_M.gguf2.0 GB
• dolphin-2.9.2-qwen2-7b-IQ1_S.gguf1.9 GB
• dolphin-2.9.2-qwen2-7b.imatrix4.5 MB
• .gitattributes3.2 KB
• README.md3.2 KB

הרישיון

הרישיון של המאגר הזה לא דווח. מבחינה משפטית מדובר בסיכון, כי אין אישור כתוב לשימוש מסחרי או הפצה בתוך מוצר. אם אתם בונים שירות לחברה או ללקוחות, אי אפשר להסתמך עליו בלי לברר קודם את תנאי הרישיון של מודל המקור המקורי.

הרישיון המלא בעמוד המודל ↗