XuanYuan-70B

מה זה

מדובר במודל בסיס בגודל של כמעט שבעים מיליארד פרמטרים, שנבנה על בסיס לאמה 2 של מטא. החברה הסינית לקחה את המשקולות המקוריות והעבירה אותן אימון מקדים נוסף. הם הרחיבו את אוצר המילים, שילבו טקסטים כלליים ופיננסיים ביחס שהלך וגדל לטובת פיננסים, ואימנו ביחס של שלוש לאחת בין סינית לאנגלית כדי לא לפגוע ביכולות הקיימות.

החידוש המרכזי כאן מול מודלים מאותה תקופה הוא הרחבת חלון ההקשר. במקום ארבעת אלפים טוקנים במקור, הם הצליחו להגיע לשמונת אלפים טוקנים ישירות בשלב האימון המקדים, בלי שיטות אקסטרפולציה בזמן ריצה. עבור מי שמתעסק עם דוחות כספיים ארוכים בסינית או מסמכים פיננסיים מורכבים, התוספת הזו מקלה על קריאת טקסטים ברצף.

מתאים ל

• בסיס לכיוונון פיננסי

  אימון נוסף למשימות פנימיות על בסיס דגם שכבר מכיר טרמינולוגיה כלכלית בסינית ואנגלית.

• ניתוח מסמכים ארוכים בסינית

  קריאה ועיבוד של דוחות כספיים וטקסטים מקצועיים עד שמונת אלפים טוקנים ברצף.

• השלמת טקסט כלכלי

  יצירה או המשך כתיבה של חומרים מקצועיים, ניתוחי שוק והודעות תאגידיות.

איפה זה נופל

זהו מודל בסיס בלבד, כלומר הוא מייצר השלמות טקסט ולא מיועד לענות לשאלות, לנהל שיחה או לבצע הוראות ישירות מהקופסה. מי שינסה להשתמש בו ישירות כעוזר יקבל פלט לא ממושמע שדורש פרומפטים מורכבים מאוד או כיוונון עדין נוסף.

בנוסף, האימון התמקד כולו בסינית ובאנגלית, עם הטיה מובהקת לעולם הפיננסי. אין כאן שום התאמה לשפות אחרות כמו עברית, והיכולות הכלליות במשימות שאינן קשורות לטקסטים אלו אינן המטרה שלשמה הוא נבנה.

איך מריצים

כדי להריץ את גרסת הבסיס המלאה בדיוק המקורי תצטרכו לפחות שני כרטיסי מסך של שמונים גיגה זיכרון, שכן המשקולות לבדן תופסות מאה עשרים ותשעה גיגה. ההרצה נעשית ישירות דרך ספריית טרנספורמרס של פייתון או דרך כלי הסקה ייעודיים.

אם אין לכם אשכול שרתים מקומי ייעודי, אין שום סיבה לנסות להרים את הגרסה הגולמית הזו במחשב מקומי. למי שרוצה שיחה מוכנה עדיף לקחת את גרסאות הצ'אט המכווננות שלהם בפורמט שמונה ביט שדורש כרטיס אחד של שמונים גיגה, או ארבעה ביט שמסתפק בכרטיס של ארבעים גיגה.

from transformers import pipeline

pipe = pipeline("text-generation", model="Duxiaoman-DI/XuanYuan-70B")
print(pipe("שלום"))

הקבצים

23 קבצים במאגר, 129 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00015.safetensors10.0 GB
• model-00003-of-00015.safetensors10.0 GB
• model-00007-of-00015.safetensors10.0 GB
• model-00011-of-00015.safetensors10.0 GB
• model-00005-of-00015.safetensors9.8 GB
• model-00006-of-00015.safetensors9.8 GB
• model-00009-of-00015.safetensors9.8 GB
• model-00010-of-00015.safetensors9.8 GB
• model-00013-of-00015.safetensors9.8 GB
• model-00002-of-00015.safetensors9.8 GB
• model-00004-of-00015.safetensors9.8 GB
• model-00008-of-00015.safetensors9.8 GB
• model-00012-of-00015.safetensors9.8 GB
• model-00014-of-00015.safetensors9.5 GB
• model-00015-of-00015.safetensors646.2 MB
• tokenizer.model592.2 KB
• model.safetensors.index.json59.6 KB
• README.md11.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json825 B
• config.json630 B
• special_tokens_map.json414 B
• generation_config.json137 B

הרישיון

המודל מופץ תחת רישיון לאמה 2 של מטא. הרישיון מתיר שימוש מסחרי ומחקר, אך כפוף למגבלות המקוריות של מטא, כולל הגבלת משתמשים חודשית של מאות מיליונים ומגבלות על אימון מודלים מתחרים. יש לבדוק עמידה בתנאי המקור לפני הטמעה במוצר מסחרי.

• שימוש מסחרי עד 700 מיליון משתמשים
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗