קושיא על ניסיונות

לבגרות בגמרא בחלק של האגדתות למדנו שניסיונות(יוצאי דופן לדוגמא אוטיזם, נטיות הפוכות וכו') אלוקים מביא רק על הצדיקים, אז איך זה מתסדדר עם האימרה הידועה שאומרת שניסיונות באים לאדם כדי לכפר על העוונות?

*מדגיש שאני מדבר על ניסיונות שיש לא לכל אחד, שמירת הברית או קשיים בשלום בית זה דברים שפחות או יותר יש לכל אחד, אני מדבר על הניסיונות המיוחדים בחיים.