Django как скрыть пустую категорию

У меня есть категория толстовки и два гендерных разделения - мужские и женские. Как я могу скрыть капюшон категории для пола, у которого нет этого товара?

    {% get_genders as genders %}
                    {% for gender in genders %}
                <li>
                    <!-- First Tier Drop Down -->
                    <label for="drop-2" class="toggle">Категории <span class="fa fa-angle-down"
                                                                       aria-hidden="true"></span> </label>

                    <a href="/">{{ gender }} <span class="fa fa-angle-down" aria-hidden="true"></span></a>
                    <input type="checkbox" id="drop-2">

                    <ul>
                        {% get_category as categories %}
                        {% for category in categories %}
                        <li><a href="{%  url 'category' gender_slug=gender.slug category_slug=category.slug %}">{{category.name}}</a>
                        </li>
                        {% endfor %}
                    </ul>
                </li>
                {% endfor %}

Я пытаюсь сделать много-много полей пол для категории, но я не знаю как написать в html

models.py

class Gender(models.Model):
    name = models.CharField(max_length=100)
    slug = models.SlugField(max_length=200, unique=True)

    class Meta:
        verbose_name = 'Гендер'
        verbose_name_plural = 'Гендеры'

    def __str__(self):
        return self.name

    def get_absolute_url(self):
        return reverse('gender', kwargs={'gender_slug': self.slug})

class Category(models.Model):
    name = models.CharField(max_length=100)
    gender = models.ManyToManyField(Gender)
    slug = models.SlugField(max_length=200, unique=True)

    class Meta:
        verbose_name = 'Категория'
        verbose_name_plural = 'Категории'

    def __str__(self):
        return self.name
      
    def get_absolute_url(self):
        return reverse('category', kwargs={'category_slug': self.slug})

@register.simple_tag()
def get_all(gender,category):
stuff = Stuff.objects.filter(gender=gender, category=category).first()
if stuff is None:
    return False
else:
    return True