חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
API לכל המודלים הוספת כלי
B

Bielik-7B-Instruct-v0.1 — הדגמה

קוד פתוח

speakleashcc-by-nc-4.02024-04-04

  • gradio

ממשק שיחה שמריץ את מודל השפה הפולני מבית speakleash ישירות בדפדפן. מתאים למי שרוצה לבדוק הנחיות טקסט על מודל שבעה מיליארד פרמטרים.

  • 7.2Bפרמטרים
  • 4,096טוקנים בהקשר
  • 13.5 GBמשקל הקבצים
  • —הורדות בחודש

מה זה

הממשק מבוסס על gradio ומציג צ'אט פשוט. אתם כותבים הודעה בתיבת הטקסט ומקבלים תשובה שמוזרמת בזמן אמת באמצעות TextIteratorStreamer. מתחת לשיחה יש תפריט הגדרות שבו אפשר לקבוע System prompt מותאם אישית, לשנות את ה־Temperature, לקבוע אורך תשובה מקסימלי בין 128 ל־4096 תווים חדשים, ולכוונן מדדים כמו Top K, Top P וקנס על חזרתיות כדי לשלוט בגיוון התשובות.

מאחורי הקלעים רץ המודל speakleash/Bielik-7B-Instruct-v0.1, שנטען באמצעות ספריית transformers עם קונפיגורציית BitsAndBytesConfig שמקטינה את צריכת הזיכרון. הממשק כולל גם כפתורי הצבעה לתשובות שמתעדים את הפידבק, ומציג דוגמאות מוכנות שמתעדכנות בעת טעינת העמוד כדי לאפשר התנסות מהירה בלי לחשוב על פרומפט מאפס.

מתאים ל

  • בדיקת פרומפטים

    שליחת הנחיות מותאמות אישית עם שליטה בטמפרטורה ובמדדי דגימה.

  • התנסות במודל שפה

    בחינת יכולות מודל ההוראות של Bielik מול טקסטים קצרים.

  • בדיקת התנהגות עם מערכת

    הגדרת System prompt לבדיקת שינוי סגנון התשובות בצ'אט.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב תקלת ריצה, ולכן אי אפשר להריץ אותה כרגע ישירות בדפדפן. מעבר לכך, מדובר במודל של שבעה מיליארד פרמטרים שמתמקד בפולנית, ולכן הוא מוגבל במשימות מורכבות ולא מותאם במיוחד לעברית. תיעוד השיחות וההצבעות נשמר במאגר חיצוני, כך שלא כדאי להכניס מידע רגיש.

שאלות
נפוצות

האם השימוש פתוח בחינם?

כן, הממשק פתוח לגישה חופשית דרך הדפדפן ואינו דורש תשלום. כרגע הוא תקוע על שגיאת ריצה ולא מייצר מענה.

מה קורה עם הטקסט שאני כותב?

הקוד כולל פונקציית הצבעה ששולחת מידע על השיחות והמשוב ישירות למאגר ציבורי בשם speakleash/bielik-logs. לא מומלץ להזין פרטים מזהים.

האם אפשר להריץ את המודל מקומית?

כן, המודל זמין תחת רישיון apache-2.0 ונטען באמצעות ספריית transformers של פייתון. אפשר להוריד אותו ולהריץ אותו על חומרה מתאימה.

כמה זמן לוקח לקבל תשובה?

האפליקציה מוגדרת להשתמש בחומרת zero-a10g שמספקת מענה מהיר בדרך כלל. בפועל, בגלל מצב השגיאה הנוכחי, המודל אינו מגיב כלל.

איך מריצים

כדי להתחיל כותבים פרומפט בתיבת הצ'אט או בוחרים מתוך הדוגמאות המוכנות, ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה כוח עיבוד של כרטיס A10G לפי דרישה, כך שזמן היצירה אמור להיות מהיר. עם זאת, נכון לעכשיו העמוד נמצא במצב של תקלת ריצה ולא מגיב בפועל.

pip install -U huggingface_hub
hf download speakleash/Bielik-7B-Instruct-v0.1

הקבצים

17 קבצים במאגר, 13.5 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד והמודל מופצים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי. יש לקחת בחשבון שהקוד שולח נתונים והצבעות מתוך השיחה למאגר בשם speakleash/bielik-logs.

  • שינוי הקוד
  • חובת ייחוס
  • שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗