Claro que es posible, así lo dice la ley:
Citar:
Los cargos de secretario y administrador podrán acumularse en una misma persona o bien nombrarse independientemente.
El cargo de administrador y, en su caso, el de secretario-administrador podrá ser ejercido por cualquier propietario, así como por personas físicas con cualificación profesional suficiente y legalmente reconocida para ejercer dichas funciones. También podrá recaer en corporaciones y otras personas jurídicas en los términos establecidos en el ordenamiento jurídico.
Las razones para negarte pueden ser que tendrás que declarar los ingresos y puede que no puedas hacer otro trabajo, si es que ya tienes uno que te lo impide.
A parte de esto, no hay ningún problema para que lo hagas, solo que tendrás que ponerte al día en los asuntos comunitarios.
No dices si son muchos vecinos, algo que te puede hacer más complicado la tarea, aunque según dices lo llevas de maravilla.