co-write-with-llama2

מה זה

אתם כותבים טקסט בתיבת העורך המרכזית, בוחרים כותרת או מגרילים אחת, ומזינים הוראות להמשך העלילה. בצד הטכני פועל meta-llama/Llama-2-70b-chat-hf דרך קריאות לפונקציית טקסט, ובמקביל משולב pipeline של StableDiffusionXLPipeline ליצירת תמונת שער. היישום טוען גם את הדאטהסט chansung/llama2-stories וכולל רכיב fpdf לסגירת המסמך הסופי לקובץ.

בממשק יש לשונית בקרה ולשונית שיחה. לשונית הבקרה כוללת כפתור להמשכת הטקסט ישירות לעורך, כפתור להפקת שלוש חלופות שונות לבחירה, ואפשרות לסמן קטע טקסט ולהחליף אותו ברמת מילה, משפט, ביטוי או פסקה שלמה. בלשונית השיחה מתכתבים ישירות עם המודל על הסיפור שנכתב כדי לפתח רעיונות.

מתאים ל

• כתיבת סיפורים באנגלית

  מזינים התחלה של עלילה, מגרילים כותרת ומשתמשים בהצעות ההמשך של המודל כדי להרחיב את הטקסט.

• שכתוב פסקאות ומשפטים

  מסמנים קטע בעורך, בוחרים רמת דיוק כמו ביטוי או פסקה, ומקבלים ניסוח חלופי בלחיצת כפתור.

• הפקת חוברת עם איור

  מייצרים איור שער עם מודל התמונות וסוגרים את כל הסיפור לקובץ PDF מוכן להורדה.

איפה זה נופל

הבעיה המיידית היא שהמרחב מסומן בשגיאת ריצה ולא עולה בפועל. מעבר לזה, המודל מאחורי הקלעים הוא Llama 2 מגרסת אוגוסט 2023, שלא נבנה במקור לעברית ויעבוד בעיקר באנגלית. מודל הטקסט לא רץ ישירות על מעבד ה־A10G של הדף אלא תלוי בחיבורי API חיצוניים, כך שגם אם הקוד מתוקן, מהירות התגובה תלויה בשירותים חיצוניים ובזמינות שלהם.

איך משתמשים

לוחצים על כפתור יצירת הטקסט כדי להוסיף תוכן ישירות לעורך, או על הפקת חלופות שפותחת עד שלושה כפתורי בחירה שונים. אפשר גם לסמן קטע, לבחור מהרשימה אם לשנות מילה או פסקה, וללחוץ על החלפת בחירה. השרת מוגדר על a10g-small, חומרה שמספיקה להרצת ממשק gradio אך קטנה מדי להרצה מקומית של מודל בגודל 70 מיליארד פרמטרים, ולכן הטקסט מיוצר דרך טוקן וקריאות מרוחקות. כרגע לא תצליחו להריץ את הדמו בדפדפן, כי העמוד נמצא במצב של שגיאת ריצה.

הרישיון

הקוד פתוח תחת רישיון apache-2.0, מה שמאפשר שימוש חופשי ושינוי שלו. המודלים עצמם כפופים לתנאי השימוש של מטא ושל stabilityai, והקוד טוען נתונים מהמאגר chansung/llama2-stories.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗