Unichat-llama3-Chinese-8B

מה זה

מדובר בהתאמה ממוקדת של המודל הבסיסי מבית מטא שנעשתה באמצעות כוונון עדין מלא של כל הפרמטרים, ולא דרך מתאמים קלים כמו לורה. צוות הפיתוח הוסיף נתוני שיחה והוראות בסינית שעברו סינון אנושי, כשהמטרה היא לחפות על הפערים של המודל המקורי בשפה הזו.

הוא שומר על מבנה שלושים ושתיים השכבות המוכר ועל אורך הקשר מקורי של שמונת אלפים טוקנים. מעבר לשיחות שוטפות בסינית, הדוגמאות שהיצרן הציג מראות יכולת פתרון בעיות מתמטיות פשוטות בשלבים, מענה על היסטוריה סינית וסירוב מובנה לבקשות מסוכנות כמו ייצור חומרי נפץ.

מתאים ל

• עוזר שיחה בסינית

  מענה טבעי לשאלות משתמשים בשפה הסינית על בסיס מודל קומפקטי שמבין את השפה טוב יותר ממודל הבסיס.

• פתרון בעיות והסברים

  פירוק שאלות מילוליות ומתמטיות לשלבים ברורים עם ניסוח מונחים מקומיים ומדויקים בסינית.

• שירות פנימי מאובטח

  הרצה מקומית בתוך הארגון ללא תלות ברשת חיצונית, עבור ארגונים שמעבדים תוכן רגיש בסינית.

איפה זה נופל

היוצרים מדברים על איכות גבוהה, אבל אין בדף שום מבחני ביצועים רשמיים, השוואה כמותית למודלים אחרים או מדידות קונקרטיות שמוכיחות את זה. בנוסף, הוא מתמקד רק באנגלית ובסינית, כך שאינו מתאים לעבודה בעברית. חלון ההקשר מוגבל לשמונת אלפים טוקנים בלבד, כך שלא תצליחו להזין לתוכו מסמכי ענק או שיחות מתמשכות ארוכות במיוחד.

איך מריצים

המשקלים תופסים כחמישה עשר גיגהבייט בדיוק המקורי. כדי להריץ אותו כמו שהוא צריך כרטיס מסך עם לפחות שישה עשר עד עשרים וארבעה גיגהבייט זיכרון גרפי, למשל כרטיס בודד מהסדרות המקצועיות או כרטיס צרכני חזק.

אם שטח הזיכרון לחוץ לכם אפשר לכמת אותו למבנה של ארבעה או שמונה ביט כדי לדחוס אותו לחומרה צנועה יותר. מי שלא מחזיק שרת ייעודי או לא מעוניין לתחזק מכונה עם כרטיס מסך דולק ברציפות, יעדיף לצרוך מודל מקביל דרך שירות ענן מסחרי לפי קריאה.

from transformers import pipeline

pipe = pipeline("text-generation", model="UnicomLLM/Unichat-llama3-Chinese-8B")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 15.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• pytorch_model-00002-of-00002.bin6.1 GB
• tokenizer.json9.1 MB
• tokenizer_config.json51.2 KB
• pytorch_model.bin.index.json23.9 KB
• LICENSE7.8 KB
• README.md4.8 KB
• USE_POLICY.md4.7 KB
• .gitattributes1.5 KB
• config.json694 B
• special_tokens_map.json335 B
• generation_config.json121 B
• configuration.json48 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס, שמתיר שימוש מסחרי, שינוי והפצה חופשית ללא תמלוגים, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗