טכנולוגיה ומדעי המחשב

דגימה בקבוצות – שימוש יעיל במודלי שפה סיבתיים (causal language models)

מקום רשון
תקציר

מודלי שפה סיבתיים כגון chat GPT מבצעים משימות בינה מלאכותית רבות בהן נקלט ונפלט טקסט כגון: שיחה, תרגום, סיכום, מענה על שאלות, ותכנות. 
באלגוריתם האוטורגרסיבי, המודלים מוצאים את המילה הבאה בהינתן רצף מילים. המודל מקבל את הקלט ואת המילים שמצא עד כה ומוצא את המילה הבאה בפלט כך שיצירת n מילים מחייבת n שימושים במודל מה שגורם לחוסר יעילות ולעלות מחשוב גבוהה מאוד.

בעבודה פותח אלגוריתם בשם דגימה בקבוצות היוצר טקסטים ארוכים בשימוש אחד בלבד במודל שפה סיבתי קיים. הניסוים בעבודה הראו שדגימה בקבוצות מצליחה בתרגום יותר מהאלגוריתם הקיים ושהיא זולה ויעילה פי 1182 מהאלגוריתם הקיים.

לפרוייקט הבא
יוני קרמר
עירוני ד', תל אביב-יפו
מורים מלווים

גב' לימור שיאון
מנחים
מר עידו גודיס
מנחים מטעם התחרות
גברת ליטל שיריין ,מר צביאל למברגר.
מוזיאון המדע על שם בלומפילד ירושלים, כל הזכויות שמורות, 2021
Site by STREETLIGHT