Можете подсказать, почему может падать считывание таблицы с InferSchema=”1” на конвертации int64 в double?

Несколько возможных причин, по которым может падать считывание таблицы с InferSchema=”1” при конвертации int64 в double:

• Несовместимость типов данных. stackoverflow.com Например, если для столбца определены разные типы в нескольких файлах parquet, это может привести к ошибке. stackoverflow.com Нужно убедиться, что все файлы сгенерированы одним и тем же типом. stackoverflow.com
• Некорректное преобразование типов. stackoverflow.com Это может быть связано с разными диапазонами чисел: у double — 57 битов для целых чисел, а у int64 — 64 бита. stackoverflow.com

Для решения проблемы можно попробовать изменить столбец схемы в таблице, например, в Glue на INTEGER. stackoverflow.com