למה אסור לאכול חלב נכרי?

שלום רב,

מלפני כמה זמן הפסקתי לאכול חלב נכרי משום ששמעתי שהגוי שחולב את הפרה עושה זאת ואת כל התהליך בשבת. וגם חלב נכרי טעים לנו יותר משום ה"יצר" עושה לנו זאת. ושוחחתי עם חברתי על הנושא והיא טענה שכלל לא נכון ונתנו לו כשרות על כך, ושהכל בסדר עם זה, וזה יותר טעים לנו בגלל שהחברות בחו"ל יותר משקיעות במוצרים שלהם וכו'. אז מה הבעיה הנכונה שבגללה אוסרים חלב נכרי? או נכון יותר למה הכשרות הזו נחשבת פחותה יותר מהאחרות לה?

תודה רבה.