חידת מספר בני ישראל במדבר

שלום, יש שאלה שמעסיקה אותי זמן רב: כשיצאו בני ישראל ממצרים הם נמנו (פרשת במדבר). המניין היה כשש מאות אלף. ארבעים שנה אחר כך הם שוב נמנו (פרשת פנחס), גם שם היו כשש מאות אלף. מדוע לא גדל מספר בני ישראל? הרי כשיצאו ממצרים היו להם ילדים רבים (שישה בכרס אחת) שלא נמנו במניין הראשון (היו קטנים מגיל עשרים) ובנוסף, וודאי גם נולדו להם ילדים במדבר (בעשרים השנים הראשונות, כדי שיהיו ראויים למניין). אז איך ייתכן שמספרם לא גדל? אפשר להוסיף עוד שאלות בעניין הזה אבל אני לא רוצה להאריך. אודה לכם אם תשיבו לי על כך.