ai-scraper

מה זה

אתם מזינים כתובת אתר וכותבים הנחיה ברורה לגבי המידע שתרצו לחלץ. בתמורה מקבלים פלט מובנה במבנה JSON יחד עם פרטי הביצוע הטכניים של הריצה.

מאחורי הקלעים רצה ספריית ScrapeGraphAI דרך ממשק Gradio. לפי הקוד, החילוץ נשען על מודל שפה חזק מסוג Qwen2.5-72B-Instruct או Mistral-7B-Instruct-v0.2, לצד מודל שיכוך מסוג all-MiniLM-L6-v2 לצורך עיבוד התוכן.

ברירת המחדל בעמוד מדגימה שליפת הודעות לעיתונות מאתר הבית הלבן, כולל כותרות וקישורים בלבד, ישירות לתוך קובץ נתונים נקי.

מתאים ל

• איסוף הודעות דוברות

  חילוץ כותרות וקישורים של הודעות לעיתונות מאתרי חדשות ורשויות.

• שליפת נתונים לקובץ

  המרת טקסט חופשי מעמודי אינטרנט למבנה JSON מסודר לעיבוד המשך.

• סיכום עמודי תוכן

  קריאת מאמרים ארוכים ברשת והפקת תמצית ממוקדת לפי דרישה ספציפית.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש בה ישירות בדפדפן כי השרת שלה מושהה. הקוד מגביל את אורך הפלט ל־128 תווים בהגדרות החיבור, מה שעלול לחתוך תשובות ארוכות באמצע. בנוסף, אתרים מורכבים או כאלה שחוסמים גישה אוטומטית יכשילו את הגירוד ללא התראה מוקדמת.

איך משתמשים

מדביקים את הקישור לעמוד המבוקש, מוודאים שהפרומפט מוגדר נכון ולוחצים על כפתור ההפעלה. אין צורך בהרשמה או בהזנת מפתח אישי בתוך הממשק, אך האפליקציה נמצאת כעת במצב מושהה ולא פעיל. כשהיא רצה על חומרת מעבד בסיסית, הפניות מנותבות לנקודות קצה של המודלים, כך שמהירות התגובה תלויה בעיקר בעומס על השרתים החיצוניים.

הרישיון

היוצרים לא הגדירו רישיון שימוש בקוד. המשמעות היא שזכויות היוצרים שמורות להם במלואן, ואסור להעתיק או להשתמש ברכיבים לפרויקטים מסחריים בלי אישור מפורש.

הרישיון המלא ב־Hugging Face ↗