dipper-paraphraser-xxl

מה זה

מדובר בהתאמה של T5-XXL שמיועדת ספציפית לניסוח מחדש של טקסטים ארוכים באנגלית. רוב הכלים בתחום הזה עובדים ברמת המשפט הבודד ומאבדים את ההקשר מסביב, אבל כאן האימון נעשה על פסקאות שלמות מתוך תרגומים מקבילים של ספרים ישנים.

הייחוד שלו הוא שני משתני בקרה שאפשר לכוונן בזמן הריצה. אחד קובע כמה אוצר המילים ישתנה ביחס למקור, והשני שולט במידת הסידור מחדש של סדר המשפטים והתוכן. החוקרים בנו אותו במטרה להראות איך שכתוב ממוקד מצליח לחמוק ממערכות שמזהות טקסט של מודלי שפה.

מתאים ל

• עקיפת גלאי טקסט

  הוא כולל משתנים ייעודיים לשינוי לקסיקלי שנועדו ישירות לשבור זיהוי אוטומטי.

• שכתוב פסקאות באנגלית

  הוא אומן על פסקאות מלאות ושומר על ההקשר הרחב בניגוד למודלים של משפט בודד.

• שינוי סדר טיעונים

  כפתור השליטה בסידור מחדש מאפשר לשנות את מבנה הפסקה בלי לאבד את המשמעות.

איפה זה נופל

המודל אומן רק על אנגלית, וספציפית על תרגומים של רומנים וספרות. זה אומר שהוא עלול להישמע דרמטי או לא מתאים אם תתנו לו טקסטים טכניים, מסמכים משפטיים או שפת דיבור יומיומית. בנוסף, הוא כבד מאוד ביחס למשימה בודדת של שכתוב, ואין כאן גרסה קלה יותר שזמינה ישירות באותו מאגר.

איך מריצים

המשקל של הקבצים מגיע לכמעט 84 גיגה בייט בגלל שמירה בדיוק מלא של שלושים ושתיים ביט. כדי לטעון ולהריץ אחד עשר מיליארד פרמטרים כאלה בלי קוונטיזציה תצטרכו כרטיסי מסך חזקים מאוד עם זיכרון וידאו מסיבי, כנראה כמה כרטיסים במקביל דרך ספריית transformers.

אם אתם רק צריכים לבדוק שכתוב מדי פעם ולא בונים מערכת מחקרית פנימית, להחזיק שרת כזה באופן קבוע יעלה לכם הרבה כסף על תשתית. במצב כזה עדיף לחפש חלופות מנוהלות או להריץ מודלים קטנים יותר שמגיעים דרך ממשקי ענן.

from transformers import pipeline

pipe = pipeline("text-generation", model="kalpeshk2011/dipper-paraphraser-xxl")
print(pipe("שלום"))

הקבצים

15 קבצים במאגר, 83.9 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00004-of-00005.bin10.0 GB
• model-00004-of-00005.safetensors10.0 GB
• pytorch_model-00003-of-00005.bin10.0 GB
• model-00003-of-00005.safetensors10.0 GB
• pytorch_model-00002-of-00005.bin9.6 GB
• model-00002-of-00005.safetensors9.6 GB
• pytorch_model-00001-of-00005.bin9.5 GB
• model-00001-of-00005.safetensors9.5 GB
• pytorch_model-00005-of-00005.bin6.1 GB
• model-00005-of-00005.safetensors6.1 GB
• model.safetensors.index.json53.0 KB
• pytorch_model.bin.index.json50.8 KB
• README.md5.9 KB
• .gitattributes1.5 KB
• config.json764 B

הרישיון

רישיון apache-2.0 מתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקלים. אתם יכולים לשלב אותו במוצרים שלכם בלי לשלם תמלוגים, כל עוד אתם שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗