GPT4ALL

מה זה

כותבים שאלה בתיבת הטקסט ומקבלים תשובה מודפסת ישירות מתחתיה. הממשק מכיל שדה הזנה אחד בשם Question וכפתור הפעלה, בלי הגדרות טמפרטורה, בלי שליטה באורך הפלט ובלי היסטוריית שיחה מתמשכת.

מאחורי הקלעים רץ הקובץ ggjt-model.bin מתוך המאגר LLukas22/gpt4all-lora-quantized-ggjt, שנטען באמצעות ספריית llama_cpp. מדובר בגרסה מכווצת של gpt4all-lora, שנועדה במקור לאפשר הרצה מקומית וקלה של מודלים על מעבדים ביתיים רגילים בלי צורך במאיץ גרפי חזק.

בקוד מוגדר רכיב דוגמאות מובנה של גרדיו שלא שומר תוצאות מראש, כך שכל בקשה אמורה להישלח ישירות למודל ולייצר את הטקסט מחדש.

מתאים ל

• בדיקת מענה לשאלות באנגלית

  מזינים שאלת ידע או בקשת כתיבה פשוטה ובודקים את רמת הדיוק של הטקסט שהמודל מייצר.

• התרשמות ממודל מכווץ

  בוחנים איך מודל ישן מסוג ggjt מתמודד עם ניסוחים קצרים על גבי מעבד בסיסי.

• בחינת קוד הממשק

  בודקים כיצד נבנה חיבור פשוט בין ספריית llama_cpp לרכיבי גרדיו בסיסיים.

איפה זה נופל

המגבלה הכי גדולה כרגע היא שהאפליקציה פשוט כבויה, אי אפשר להשתמש בה בלי להעיר אותה קודם. מעבר לזה, הממשק לא מציע שיחה מרובת שלבים אלא מענה לשאלה בודדת בכל פעם. המודל שרץ שם פורסם באפריל 2023, ומאז עולם המודלים הפתוחים התקדם המון, במיוחד בכל מה שקשור להבנת עברית ותשובות מורכבות.

איך משתמשים

מקלידים את השאלה או בוחרים מתוך רשימת הדוגמאות ולוחצים על Generate. אין צורך בחשבון או בהתחברות כדי לגשת לממשק. כרגע האפליקציה נמצאת במצב מושהה (PAUSED), כך שלא ניתן להריץ אותה בדפדפן בלי שהיוצר יפעיל אותה מחדש או שתשכפלו אותה לעצמכם. אם היא פועלת, החומרה המוגדרת היא מעבד בסיסי בלבד, מה שאומר שהמענה צפוי לקחת זמן ואי אפשר לצפות לקצב הפקה מהיר.

הרישיון

הרישיון של המרחב לא דווח כלל בקוד או בהגדרות. במצב כזה אין הרשאה ברורה לגבי שימוש מסחרי בקוד או בתוצרים, ואין לדעת מה המדיניות הרשמית לגבי המידע שאתם מקלידים בחלון השאלה.

הרישיון המלא ב־Hugging Face ↗