Упорядочение набора запросов по полю в промежуточной таблице с рекурсивным отношением m2m

У меня есть система последователей/последователей в моем приложении django, и я хочу упорядочить последователей и последователей пользователя по времени действия, когда происходит соответствующее действие. Мои модели:

class UserFollow(models.Model):
    followee = models.ForeignKey('CustomUser', on_delete=models.CASCADE, related_name='follower_set') # The one who is followed
    follower = models.ForeignKey('CustomUser', on_delete=models.CASCADE, related_name='followee_set') # The one who followed
    timestamp = models.DateTimeField(auto_now_add=True)

class CustomUser(AbstractBaseUser, PermissionsMixin):
    # Other fields which don't matter in this question
    followers = models.ManyToManyField('self', blank=True, related_name='followees', symmetrical=False, through='UserFollow')

Например, у меня есть пользователь, и я могу получить всех его последователей в обратном порядке, если они следовали за этим пользователем:

followers = user.followers.all()
# returns <QuerySet [<CustomUser: follower1>, <CustomUser: follower2>, ... , <CustomUser: follower{n}>]

Следующие qs, конечно, не работают:

followers = user.followers.order_by('-userfollow__timestamp')

Я могу получить followers pk в правильном порядке, а затем получить followers objects:

followers_pk = user.follower_set.values_list('follower', flat=True).order_by('-timestamp')
# returns <QuerySet [n, ... , 3, 2, 1]>
followers = CustomUser.objects.filter(pk__in=followers_pk)
# returns <QuerySet [<CustomUser: follower1>, <CustomUser: follower2>, ... , <CustomUser: follower{n}>]> (user objects in reverse order)

Есть предложения или советы, как достичь того, чего я хочу?

class Doctor(...):
    patients = models.ManyToMany('Patient', ..., related_name = 'doctors', through = 'Registration')

class Patient(...):
    doctors = models.ManyToMany('Doctor', ..., related_name = 'patients', through = 'Registration')

class Registration(...):
    patient = models.ForeignKey('Patient', ..., related_name = 'registrations')
    doctor = models.ForeignKey('Doctor', ..., related_name = 'registrations')
    timestamp = models.DateTime(...)

# get a specific doctor:
doctor = Doctor.objects.get(id='<doctor-id>')

# get and order all patients that registered with this doctor by the registration timestamp:
patients = Patient.objects.filter(doctors=doctor).order_by('registrations__timestamp')

# the user we want the followers of:
celebrity = CustomUser.objects.get(id='<celebrity-id>')

# their followers ordered by timestamp:
followers = CustomUser.objects.filter(followees=celebrity).order_by('follower_set__timestamp')