Sakura-14B-Qwen2.5-v1.0-GGUF
קוד פתוחSakuraLLMcc-by-nc-sa-4.02024-10-07
גרסת GGUF המבוססת על Qwen2.5 בגודל 14B, שעברה התאמה ממוקדת לתרגום מדויק ועקבי. היא נותנת מענה מצוין למי שמחפש מודל מקומי עם תמיכה במילוני מונחים.
- 34.9 GBמשקל הקבצים
- 10,363הורדות בחודש
- 94לייקים
מה זה
מדובר במודל שפותח במקור עבור תרגום, ומתבסס על ארכיטקטורת Qwen2.5 בנפח 14 מיליארד פרמטרים. גרסה 1.0 מציגה שיפור באיכות התרגום ובדיוק של שמות גוף, נושא שנוטה להישבר בקלות במודלים גנריים. בנוסף, המודל תומך בשימוש במילוני מונחים מוגדרים מראש, מה שעוזר לשמור על אחידות של שמות פרטיים ומושגים קבועים לאורך טקסטים ארוכים.
בזכות השימוש במנגנון GQA במודל הבסיס, הביצועים בזמן הסקה מהירים יותר והניצול של זיכרון הווידאו יעיל ביחס לגודל שלו. הכרטיס מדווח גם על שיפור ביכולת לשמר תווי בקרה כמו ירידות שורה, כך שהמבנה המקורי של הטקסט לא נהרס בתרגום.
מתאים ל
- תרגום עם מונחון ייעודי
תמיכה מובנית במילוני מונחים מאפשרת לשמור על שמות ומושגים אחידים בכל הטקסט.
- עיבוד מקומי של טקסטים
הרצה מקומית בפורמט GGUF מאפשרת לתרגם מידע רגיש בלי לשלוח אותו לשרתים חיצוניים.
- תרגום טקסטים מרובי שורות
המודל עבר התאמה מיוחדת לשמירה על תווי מעבר שורה ומבנה הפסקאות המקורי.
איפה זה נופל
המודל ממוקד לחלוטין במשימות תרגום ולא מתאים לשמש כעוזר כללי, לכתיבת קוד או לניתוח לוגי מורכב. מעבר לכך, למרות שהמפתחים מציינים שיפור בשימור תווי בקרה כמו מעברי שורה והתאמת שורות למקור, עצם העובדה שהם נגעו בזה מעידה ששיבושים במבנה הטקסט עדיין יכולים להתרחש.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה לפיתוח בוט שיחה רגיל?
לא מומלץ. הוא אומן ועבר התאמות למשימות תרגום ושמירה על מונחים, ולא כדי לשמש כצ'אטבוט או כעוזר רב תכליתי.
האם מותר למכור שירות שמבוסס עליו?
לא. הרישיון הוא cc-by-nc-sa-4.0, שאינו מתיר שימוש מסחרי, כך שכל שימוש במוצר למטרות רווח אסור על פי החוק.
איך מריצים
הקבצים שוקלים 34.9 גיגה בייט במצטבר, כך שתצטרכו כרטיס מסך עם זיכרון ייעודי משמעותי, בדרך כלל מעל 16 או 24 גיגה בייט תלוי בקוונטיזציה, או להריץ אותו על המעבד עם מספיק זיכרון RAM וסבלנות.
המפתחים מפנים לכלים ייעודיים כמו ממשק ה־GUI של Sakura או לפרויקט SakuraLLMServer, שמסייעים להריץ הסקה בריבוי תהליכים. אם אין לכם חומרה מקומית מתאימה ואתם צריכים תרגום מזדמן בלי מילון מותאם אישית, פנייה ל־API מסחרי תחסוך לכם את ההתעסקות.
ollama run hf.co/SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF:Q4KM
איזו גרסה
אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.
הקבצים
6 קבצים במאגר, 34.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג שהוא. אם אתם מתכננים להטמיע אותו במוצר שמייצר הכנסה, זה בלתי אפשרי. בנוסף, כל שינוי או יצירה נגזרת מחייבים הפצה תחת אותו רישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא