השכונה שנקראה על שם השומר המפורסם

אהרן מויאל היה מעשירי העיר רבאט שבמרוקו. בשנת תר"ג נולד לו במזל טוב בן, אשר נקרא שמו יוסף. יוסף למד בישיבה ברבאט, אך בשנת תר"כ, בהיותו בן 17, עלה יוסף לארץ ישראל, כשברשותו הון רב. ארץ ישראל היתה ריקה ושוממה. משפחת מויאל התיישבה ביפו, שהיתה עיר הנמל הראשית. יוסף נשא לאישה את שמחה, בתו של הרב משה פארדו, רבה הראשי של אלכסנדריה.

יוסף היה סוחר מוכשר, ונחשב לאחד ממנהיגי עדת המוגרבים בארץ ישראל. בשנת תרל"ד הוא מונה לסגן קונסול ספרד ביפו, מינוי ראשון של יהודי מטעם ממשלת ספרד מאז גירוש ספרד, כארבע מאות שנים קודם לכן. הוא שימש גם כקונסול של פרס ביפו, ולכן קיבל מהממשלה העות'מאנית את התואר "ביי", שנחשב כתואר אצולה טורקי.

עשרים שנה לאחר מכן היה יוסף בעליו של כרם ענק שהשתרע מצפון ליפו. באותו הזמן עלה מתימן ילד יהודי יתום בשם חיים מבורת. הוריו נפטרו בעודו ילד קטן, גורמים שונים ומשונים בתימן ניסו לאלץ אותו להתאסלם, אך הוא חמק מהם והגיע לארץ, שם עבד כשומר בכרמו של יוסף מויאל. חיים מבורת חסך פרוטה לפרוטה, ועם הזמן הצליח לרכוש גם חלקת אדמה הסמוכה לכרם.

הכל ידעו על יוסף מויאל העשיר המכובד, אבל יותר מכך פגשו ביום יום את חיים מבורת, השומר התימני החרוץ, שלא נתן שינה לעפעפיו, ועמל לפרנסתו כדי לרכוש ארבע אמות בארץ ישראל, ולכן הכרם הגדול כונה בפי כל "כרם התימני", אף על פי שלא בעליו היה תימני, אלא רק השומר המפורסם.

עם הזמן נוספו עוד ועוד מעולי תימן לגור בשכנותו של הכרם. הכרם עצמו הפך להיות לא כלכלי, וחלקים ממנו נכרתו כדי לבנות עוד ועוד בתים. השכונה גדלה והתרחבה, והפכה לשכונה עצמאית. מובן כי כאשר התכנסה ועדת השמות לקבוע לה שם, הוצע לקרוא את שמה על שמו של יוסף מויאל, שנפטר בינתיים, והיה אחד הכוחות הגדולים ברכישת קרקעות וביישובן על ידי יהודים באזור. וכך נקבע השם "מחנה יוסף", אך השם הלא רשמי ניצח את השם הרשמי... שמה של השכונה הפך בפי כל ל"כרם התימנים", ושמו של חיים מבורת הפך לסימן ההיכר של השכונה. נכדו הוא המשורר אהרון אלמוג, המתאר באחד משיריו:

"אֶל בֵּית סָבִי בָּאוּ תֵּימָנִים מִמַּחֲנֵה יוֹסֵף

יָשְׁבוּ וְשָׁתְקוּ

כְּשֶׁאֶחָד שַׂר הַשֵּׁנִי חִכָּה

כָּךְ גָּדַלְתִּי בֵּין נַהֲמָה

לִשְׁתִיקָה

עַכְשָׁו הִתְקִינוּ לְאָבִי טֶלֶפוֹן וְהוּא יוֹשֵׁב

וּמְחַכֶּה לְצִלְצוּל

 שְׁמוֹנִים שָׁנָה שָׁתַק שָׁתְקוּ אֲבוֹתָיו

 עַכְשָׁו הוּא רוֹצֶה שֶׁיַּקְשִׁיבוּ לִדְבָרָיו".

שכונת כרם התימנים, או "הכרם", נחשבה לשכונה שמרנית, ואנשי המחתרות הימניות היו מתחבאים בין אנשיה, בכ"ד בניסן תש"ו הפתיע הצבא הבריטי ברחוב הירקון קבוצת חיילי אצ"ל, אך חיש  מהר הם "נבלעו" בין בתי הכרם, כאשר התושבים מחפים עליהם, ומלבישים אותם בבגדי תימניים מסורתיים. לא היה לבריטים סיכוי לאתר אותם.

בתוכנית החלוקה של האו"ם בשנת 1947 נכללה שכונת כרם התימנים בתוך המדינה הערבית העתידית, אלא שהערבים לא קיבלו את התוכנית, ובמלחמת השחרור טוהרה השכונה מערבים ונכבשה יחד עם יפו.