Есть ли элегантный способ сплющить вложенный JSON с помощью сериализатора django?

Я получаю вложенный JSON от API (я не могу влиять на структуру). Я хочу сгладить вложенные поля при десериализации объекта, используя сериализатор django rest framework. Как это сделать элегантно?

Вот мой текущий подход, который работает, используя вложенные сериализаторы и выполняя уплощение в .create():

from dataclasses import dataclass

from rest_framework import serializers

input_data = {
    "objectName": "Johnny",
    "geoInfo": {
        "latitude": 1.2,
        "longitude": 3.4,
    },
}

flattened_output = {
    "name": "Johnny",
    "lat": 1.2,
    "lon": 3.4,
}


@dataclass
class Thing:
    name: str
    lat: float
    lon: float


class TheFlattener(serializers.Serializer):
    class GeoInfoSerializer(serializers.Serializer):
        latitude = serializers.FloatField()
        longitude = serializers.FloatField()

    objectName = serializers.CharField(max_length=50, source="name")
    geoInfo = GeoInfoSerializer()

    def create(self, validated_data):
        geo_info = validated_data.pop("geoInfo")
        validated_data["lat"] = geo_info["latitude"]
        validated_data["lon"] = geo_info["longitude"]
        return Thing(**validated_data)


serializer = TheFlattener(data=input_data)
serializer.is_valid(raise_exception=True)
assert serializer.save() == Thing(**flattened_output)

Я знаю, что при сериализации объектов в JSON можно ссылаться на вложенные/родственные объекты в параметре source, например 

first_name = CharField(source="user.first_name")

что действительно хорошо, но я не смог найти ничего подобного для десериализации.

Для вашей ситуации я думаю, что ваше решение настолько элегантно, насколько это возможно, поскольку вы хотите изменить имя полей, а не только сгладить его.

Однако для больших вложенных Json можно определить функцию сглаживания (рекурсивно/итеративно) или использовать какой-нибудь полезный инструмент из библиотеки pandas, например:

pandas.json_normalize & pandas.DataFrame.to_dict/to_json

https://pandas.pydata.org/pandas-docs/version/1.2.0/reference/api/pandas.json_normalize.html

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_dict.html

Опция1

from pandas import json_normalize

input_data = {
    "objectName": "Johnny",
    "geoInfo": {
        "latitude": 1.2,
        "longitude": 3.4,
    },
}

d = json_normalize(input_data).to_dict(into=OrderedDict)
print(type(d))
print(d)

Выход 1: 

<class 'collections.OrderedDict'>
OrderedDict([('objectName', OrderedDict([(0, 'Johnny')])), ('geoInfo.latitude', OrderedDict([(0, 1.2)])), ('geoInfo.longitude', OrderedDict([(0, 3.4)]))])

Вариант 2

d = json_normalize(input_data).to_dict(into=OrderedDict, 'list')

Выход 2

<class 'collections.OrderedDict'>
OrderedDict([('objectName', ['Johnny']), ('geoInfo.latitude', [1.2]), ('geoInfo.longitude', [3.4])])

Вариант 3

d = json_normalize(input_data).to_dict(into=OrderedDict, orient='records')

Выход 3

<class 'list'>
[OrderedDict([('objectName', 'Johnny'), ('geoInfo.latitude', 1.2), ('geoInfo.longitude', 3.4)])]

Вариант 4

d = json_normalize(input_data).to_dict('index', into=OrderedDict)

Выход 4

<class 'collections.OrderedDict'>
OrderedDict([(0, {'objectName': 'Johnny', 'geoInfo.latitude': 1.2, 'geoInfo.longitude': 3.4})])

Для этого случая вариант 3 был бы лучшим. Но поскольку он возвращает список длины 1, add [0].

Решение: 

d = json_normalize(input_data).to_dict(orient='records')[0]

Выход:

<class 'dict'>
{'objectName': 'Johnny', 'geoInfo.latitude': 1.2, 'geoInfo.longitude': 3.4}

Для переименования полей требуется немного больше дополнительных действий.

from pandas import json_normalize
from collections import OrderedDict

input_data = {
    "objectName": "Johnny",
    "geoInfo": {
        "latitude": 1.2,
        "longitude": 3.4,
    },
}

d = json_normalize(input_data).to_dict(orient='records', into=OrderedDict)[0]
N = len(d)
key_map = {"objectName": "name", "geoInfo.latitude": "lat", "geoInfo.longitude":"lon"}
# or use list ["name", "lat", "lon"] and access by index.
# I used dict key_map for cases when normal dict is used, instead of ordereddict
# (when into=OrderedDict argument is not given to pandas to_dict function)
for _ in range(N):
    k, v = d.popitem(last=False)
d[key_map[k]] = v

print(d)

Выход:

OrderedDict([('name', 'Johnny'), ('lat', 1.2), ('lon', 3.4)])

Я бы предложил использовать рекурсию, что-то вроде этого:

def make_it_flat(inp):
    out = dict()
    
    def flatten(piece, name=''):
        if isinstance(piece, dict):
            for k,v in piece.items():
                flatten(v, f'{name}{k}_')
        elif isinstance(piece, list):
            for i, a in enumerate(piece):
                flatten(a, f'{name}{i}_')
        else:
            out[name[:-1]] = piece
    flatten(inp)
    return out

Пример:

>>> make_it_flat({22222: 'y', 1: {2: {3: ['a','b','c']}}})
{'22222': 'y', '1_2_3_0': 'a', '1_2_3_1': 'b', '1_2_3_2': 'c'}

Кредит этой теме за предоставленный ответ: source="*" сплющивает вложенные поля в validated_data.

В этом случае решение выглядит следующим образом:

class TheFlattener(serializers.Serializer):
    class GeoInfoSerializer(serializers.Serializer):
        latitude = serializers.FloatField(source="lat")  # rename here
        longitude = serializers.FloatField(source="lon")

    objectName = serializers.CharField(max_length=50, source="name")
    geoInfo = GeoInfoSerializer(source="*")  # unpack nested fields here

    def create(self, validated_data):  
        return Thing(**validated_data)
Вернуться на верх