Obtener un resultado dentro de un queryset bajo la relacion de Mucho a Muchos Django

Hola a todos luego de intentar varias cosas, gracias a Julio, me di cuenta que también debía agregar una relación uno a muchos con center dentro de mi modelo CategoryMember, de esta manera también tengo mas control con respecto a todos los modelos que pertenecen a un centro. Posteriormente leyendo un poco me di cuenta que existe la sentencia select_related de que básicamente es como un inner join.

users=CategoryMember.objects.select_related('user').filter(center_id=center.pk)

para ver el query: uso :

print(str(users.query))

y par imprimir los datos:

{% for user in users %}
     {{ user.user.pk}} ,  user.user.first_name}, user.centercategory
     # ...
{% endfor %}

Espero le sirva a otra persona.