לשון הרע על ציבור

האם מותר להגיד שראיתי אדם מציבור מסויים, ולהגיד עליו שעשה מעשה רע (בלי שיודעים מי הבן אדם אך עם להגיד את השם של הציבור אליו הוא שייך)? לכאורה מלשון החפץ חיים כלל י ,יב - נשמע שמותר, שהרי שם כתוב:
" וְנִכְשָׁלִין בָּזֶה, בַּעֲוֹנוֹתֵינוּ הָרַבִּים, הַרְבֵּה אֲנָשִׁים, כְּמוֹ שֶׁאָנוּ רוֹאִין בַּעֲלִיל, שֶׁאִם לֹא יְקַבְּלוּ לְאֶחָד בְּסֵבֶר פָּנִים יָפוֹת כִּרְצּוֹנוֹ בְּעִיר אַחַת, כְּשֶׁהוּא נוֹסֵעַ אַחַר כָּךְ לְעִיר אַחֶרֶת, מְפַרְסֵם לִגְנוּת עֲבוּר זֶה הָאֲנָשִׁים הַחֲשׁוּבִים דְּשָׁם, מִפְּנִי שֶׁלֹּא סִיְּעוּהוּ בְּעִנְיָנָיו. וְכָל שֶׁכֵּן אִם מְבַזֶּה עֲבוּר זֶה סְתָם לְכָל הָעִיר, (לב) בְּוַדַּאי עָוֹן פְּלִילִי הוּא, כִּי אִסוּר לָשׁוֹן הָרָע, אֲפִלּוּ עַל אֱמֶת, שֶׁכָּתַבְנוּ לְמַעְלָה, הוּא אֲפִלּוּ אִם מְסַפֵּר עַל אִישׁ פְּרָטִי, וְכָל שֶׁכֵּן עַל עִיר שְׁלֵמָה שֶׁבְּיִשְׂרָאֵל הַמַּחֲזִיקִים בֶּאֱמוּנַת ה', וַדַּאי עָוֹן גָּדוֹל הוּא."

נשמע שאסור רק משום שמשליכים את המעשה של אדם יחיד על העיר -"ומפרסם לגנות עבור זה האנשים", אבל אם אני אומר שאדם מסויים שייך לציבור מסויים לאו דוקא השלכתי את זה על הציבור!
מצד שני גם אם אני לא משליך את זה על הציבור זה משפיע לרעה על הציבור, ובנוסף אין ממש צורך להגיד את שם הציבור, זה סתם מיותר.
לכן שאלתי היא האם כשמתחילים לספר לי דבר שכזה האם אני אומר סליחה אבל "לשון הרע לא מדבר אלי"?