Hy-MT2-1.8B-GGUF

קוד פתוח

tencentapache-2.02026-05-20

gguf
endpoints_compatible
conversational

מודל תרגום קל משקל שמיועד לריצה מקומית, כולל תמיכה מובנית בעברית. הוא מכוון למשימות תרגום מורכבות עם שמירה על מבנה ופורמט בלי להעמיס על הברזלים.

4.2 GBמשקל הקבצים
303,155הורדות בחודש
180לייקים

מה זה

מדובר במודל ייעודי לתרגום של חברת טנסנט שמקיף שלושים ושלוש שפות, כולל עברית. במקום להתפזר על כתיבת קוד או שיחה כללית, כל היכולת שלו מתרכזת בהמרת טקסט ובהבנת הוראות תרגום מורכבות. לפי המפתחים, הגודל הזה עוקף בביצועי תרגום כלליים מערכות מסחריות של מיקרוסופט ודואובאו, ומסוגל להתמודד עם הנחיות סגנון, מילוני מונחים מותאמים ושמירה על תגיות קוד.

הייחוד כאן הוא השילוב בין נפח של 1.8 מיליארד פרמטרים ליכולת לעקוב אחרי כללים קשיחים, כמו השארת משתנים ללא שינוי או שמירה על מפרידים מדויקים בתוך הטקסט. התיעוד כולל מבחן ביצועים ייעודי בשם IFMTBench שבודק בדיוק את זה, יכולת המעקב אחרי אילוצי משתמש בזמן תרגום.

מתאים ל

תרגום קבצי שפה בקוד
הוא יודע להשאיר מפתחות ומבנה JSON שלמים ולתרגם רק את המחרוזות המוצגות למשתמש.
לוקליזציה עם מילון מונחים
הנחיות הפרומפט מאפשרות לכפות תרגום ספציפי של מושגים מקצועיים בלי שהוא ימציא להם חלופות.
תרגום אופליין במכשירי קצה
משקל קטן שרץ חלק דרך llama.cpp ומאפשר תרגום מקומי בלי חיבור רשת ובלי דליפת מידע.

איפה זה נופל

זה לא מודל שיחה כללי, ואם תנסו לנהל איתו צ'אט או לבקש ניתוח לוגי תקבלו תוצאות עקומות. אין לו סיסטם פרומפט ברירת מחדל, וצריך לעבוד עם תבניות הוראה מוגדרות מאוד כדי שהוא לא יפלוט הסברים מיותרים מסביב לתרגום. בנוסף, מי שבונה על עברית צריך לבדוק אותו היטב על סלנג או טקסטים טכניים מקומיים, כי התיעוד מציג דוגמאות ממוקדות בעיקר באנגלית ובסינית.

אותה משפחה

Hy-MT2 יצא ב־5 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

Hy-MT2-7B-GGUF32,321 Hy-MT2-1.8B22,984 Hy-MT2-30B-A3B16,558 Hy-MT2-7B11,982

שאלות
נפוצות

האם המודל דורש כרטיס מסך ייעודי כדי לעבוד?

לא. משקל של 1.8B בפורמט GGUF רץ מצוין גם על מעבד רגיל של מחשב נייד או תחנת קצה פשוטה. אם יש לכם כרטיס מסך קטן תוכלו לטעון אליו שכבות ולקבל מהירות גבוהה יותר, אבל זו לא חובה.

למה הטעינה של קובץ ה־GGUF נכשלת לי ב־llama.cpp?

הקובץ הזה מקודד בעזרת קרנל STQ ייעודי שפותח על ידי טנסנט. עליכם לבנות את llama.cpp מקוד המקור שכולל את PR מספר 22836, אחרת התוכנה לא תזהה את המבנה של המודל.

איך מריצים

המודל הזה ארוז בפורמט GGUF ומיועד להרצה קלה דרך llama.cpp, אפילו על מעבדים פשוטים או מחשבים ניידים בלי מאיץ גרפי חזק. כדי להריץ את הקבצים האלה צריך גרסה של llama.cpp שכוללת את קרנל ה־STQ לפי Pull Request מספר 22836, אחרת הטעינה תיכשל. מבחינת פרמטרים, המפתחים ממליצים על טמפרטורה של 0.7 ומשקל חזרות של 1.05.

אם אתם צריכים תרגום של מאות מסמכים בדקה או עבודה בסקייל עצום, שירותי ענן עם API מסחרי יחסכו לכם תפעול. המודל המקומי הזה מתאים כשרצים אופליין, כשרוצים פרטיות מוחלטת למידע, או כשמשלבים תרגום ישירות בתוך אפליקציית קצה בלי עלויות שוטפות.

ollama run hf.co/tencent/Hy-MT2-1.8B-GGUF:Q4_K_M

איזו גרסה

אותו מודל בכמה רמות דחיסה. ככל שהמספר נמוך יותר הקובץ קטן יותר ורץ על פחות זיכרון, והתשובות נהיות פחות מדויקות. רוב האנשים רוצים את הגדולה ביותר שנכנסת להם בזיכרון.

Q8_01.9 GB Q6_K1.5 GB Q4_K_M1.1 GB

הקבצים

47 קבצים במאגר, 4.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0 מלא. אפשר לקחת את הקבצים, לשלב אותם במוצר מסחרי סגור, לשנות אותם או להריץ אותם על שרתים שלכם בלי לשלם תמלוגים לטנסנט. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים ומסמך הרישיון המקורי בתוך ההפצה.

שימוש מסחרי
שינוי הקוד
הפצה מחדש
שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗