GPT
הוספת כלי
G

gpt-neox-japanese-2.7b

קוד פתוח

abejamit2022-08-29

  • transformers
  • pytorch
  • gpt_neox_japanese
  • text-generation
  • ja

מודל שפה קומפקטי שמיועד ספציפית ליפנית, ורץ בקלות על חומרה מקומית. הוא פתרון נקודתי למי שחייב לעבד או לייצר טקסט ביפנית בלי לשלוח מידע לענן.

  • 2,048טוקנים בהקשר
  • 5.0 GBמשקל הקבצים
  • 85,827הורדות בחודש
  • 59לייקים

מה זה

מדובר במודל יפני מבוסס GPT-NeoX עם 2.7 מיליארד פרמטרים שפותח על ידי חברת ABEJA. הוא אומן על שילוב של ויקיפדיה ביפנית, CC-100 ו־OSCAR, וכולל טוקנייזר תת-מילים ייעודי ליפנית (Japanese-BPEEncoder_V2). התוצאה היא מודל שמבין את המבנה הייחודי של השפה הרבה יותר טוב ממודלים כלליים בגודל דומה, שנוטים להתקשות בחלוקה לטוקנים בשפות שאינן אנגלית.

המודל מיועד ליצירת טקסט רציף (Causal LM) ומגיע עם 32 שכבות וחלון הקשר של 2,048 טוקנים. הוא נתמך ישירות בספריית transformers של Hugging Face מגרסה 4.23 ומעלה, כך שההטמעה שלו בקוד פייתון פשוטה וכוללת שימוש שגרתי ב־pipeline או בטעינת המודל והטוקנייזר ישירות.

מתאים ל

  • השלמת טקסט ביפנית

    השלמה אוטומטית של פסקאות ומשפטים באתרי תוכן ביפנית, בזכות טוקנייזר ייעודי לשפה.

  • אימון נוסף למשימות ספציפיות

    בסיס קל משקל לכוונון (fine-tuning) עבור סיווג טקסטים או מענה לתחום מקצועי מוגדר ביפנית.

  • עיבוד מקומי ומאובטח

    הרצה מקומית על שרת מבודד ללא חיבור חיצוני, לטיפול בטקסטים יפניים רגישים.

איפה זה נופל

המודל מוגבל לשפה היפנית בלבד, והוא לא יודע לעבוד עם עברית או אנגלית מעבר למילים בסיסיות שמופיעות בטקסטים המקוריים. חלון ההקשר של 2,048 טוקנים קצר מאוד לסטנדרטים הנוכחיים, מה שפוסל אותו מניתוח מסמכים ארוכים או שיחות מורכבות וממושכות.

בנוסף, המודל אומן על מאגרי טקסט גולמיים מהרשת ללא כוונון להוראות (Instruct) או יישור מבוסס שיחה. הוא פשוט משלים טקסט, ולכן אי אפשר לצפות ממנו לפעול כעוזר אישי חכם בלי שתאמנו אותו ייעודית למשימה שלכם.

שאלות
נפוצות

האם המודל מבין עברית?

לא. המודל אומן ספציפית על מקורות מידע ביפנית ומשתמש בטוקנייזר ייעודי ליפנית. הוא לא מיועד לטפל בעברית כלל.

האם אפשר להשתמש בו ישירות לצ'אטבוט?

לא מומלץ כפי שהוא. המודל אומן להשלמת טקסט כללית ולא עבר כוונון לשיחות (Instruct/Chat), כך שהוא עשוי פשוט להמשיך את המשפט במקום לענות לשאלה.

איך מריצים

המשקל הכולל של הקבצים עומד על 5.0 ג'יגה-בייט, מה שאומר שכרטיס מסך בסיסי עם 6 עד 8 ג'יגה-בייט זיכרון VRAM יספיק כדי להריץ אותו בלי בעיה. בגלל הגודל הקומפקטי שלו, אפשר להריץ אותו גם על מעבד רגיל אם זמן התגובה פחות קריטי, או לקמפל אותו לפורמטים ממוטבים מקומית.

אם המוצר שלכם צריך לייצר כמויות אדירות של טקסט במהירות שיא או שאין לכם שרת ייעודי, עדיף לפנות ל־API חיצוני של שירות ענן. אבל אם חשוב לכם שהמידע לא ייצא מהשרת הפרטי, הגודל הזה הוא נקודת איזון נוחה מאוד מבחינת דרישות חומרה ועלויות הפעלה.

from transformers import pipeline

pipe = pipeline("text-generation", model="abeja/gpt-neox-japanese-2.7b")
print(pipe("שלום"))

הקבצים

7 קבצים במאגר, 5.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

המודל משוחרר תחת רישיון MIT. זהו רישיון קוד פתוח מתירני לחלוטין שמאפשר שימוש מסחרי, שינוי של הקוד והמשקלים, והפצה מחדש כמעט ללא הגבלות, למעט הדרישה לשמור על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗