כל הפרויקטים

GPT-OSS-20B LoRA Fine-Tuning - אבחון ומשלוח

ביקורת על LoRA שנכשל, תיקון 4 באגים (כולל מלכודת שמות MoE ב-Unsloth), משלוח חבילה עם ציפיות כנות על גודל דאטה.

האתגר

האימון רץ, loss יורד, generation ג'יבריש - נראה כאילו המודל פשוט לא לומד.

הפתרון

ביקורת על הפייפליין מקצה לקצה; מצאתי ותיקנתי 4 באגים אמיתיים; הוספתי 3 diagnostic gates; משלוח חבילת handover נקייה עם סקריפטים, smoke test, וכתיבה כנה על תקרת הדאטה.

תוצאות

0.07% → 0.83%

Trainable params

8.35 → 6.30

eval_loss

4

באגים שתוקנו

3

Diagnostic gates