Платформа для разработки на ESP32 с 3.5" дисплеем и камерой от Makerfabs - обновляем тепловизор

1. Перенос проекта с платформы TTGO T-Watch на платформу с 3,5” дисплеем от MakerFabs.
Обе платформы построены на ESP32 поэтому перенос проекта не составил труда библиотека для T-Watch основана на популярной библиотеке для дисплеев TFT_eSPI, которая также поддерживает контроллер ILI9488, на котором основан дисплей, используемы в платформе от Makerfabs. Сначала код был перенесен как есть для проверки его работоспособности в целом, а затем несколько оптимизирован для большего разрешения дисплея.
2. Оптимизация кода с целью повышения частоты кадров. В исходном проекте частота кадров не измерялась, но чисто визуально она была очень низкой. Во-первых, я установил частоту процессора ESP32 на 240МГц, но визуально увеличения частоты кадров я не заметил. Далее позаимствовав этот прием из примера от SparkFun, я изменил частоты CLOCK шины I2C для чтения данных с сенсора. Для чтения параметров сенсора используется частота 400000 Гц, а для чтения данных она может быть увеличена до 1000000 Гц. Наконец, я начал пробовать изменять частоту опроса сенсора. Для измерения частоты опроса сенсора и отрисовки изображения в код были добавлены строки вычисляющие время начала и конца операций. Расчетная частота выводится в монитор порта. Рассчитывается частота опроса сенсора и частота опроса плюс вывод изображения на дисплей. Из этих величин можно рассчитать соответственно время, затрачиваемое на выполнение каждой операции. Данные были сведены в таблицу.

Вопреки ожиданиям, при максимальной заданной частоте опроса сенсора в 16 Гц, реальная частота меньше чем при 4Гц и при этом появляется множество ошибок чтения данных. Оптимальным стала частота опроса 8 Гц при частоте CLOCK 1000000 Гц. Реальная частота опроса при этом составляет максимум 8.7 Гц, а частота опроса и отрисовки всего 3,86 Гц. Время отрисовки не зависит от частоты опроса сенсора и составляет около 146 мс, при этом следует отметить, что это время включает обработку данных и интерполяцию для увеличения видимого разрешения. Без интерполяции время уменьшается в 1.5 раза и составляет 96 мс.
3. Интерполяция
Для увеличения видимого разрешения я использую интерполяцию по Гауссу. Описание и исходный код функции интерполяции взяты из данной статьи. Интерполяция работает хорошо, но на краях изображения она работает некорректно. В качестве альтернативы я решил использовать бикубическую интерполяцию. Код бикубической интерполяции взят отсюда. Бикубическая интерполяция работает корректно на всем массиве данных, но занимает больше времени, нежели интерполяция по Гауссу и частота обновления дисплея уменьшается до 2,8 Гц.
При увеличении частоты опроса сенсора увеличивается шум, так если в поле зрения сенсора нет контрастных по температуре объектов, разброс температур составляет порядка 4 градусов. При этом цветовая шкала автоматически масштабируется, и изображение получается достаточно шумным. Для уменьшения этого эффекта я добавил расширение границ на -5 и +5 градусов если дельта между максимальным и минимальным значениями меньше 5 градусов.
4. Оптимизация скорости отрисовки изображения.
Очевидно, для увеличения частоты обновления экрана необходимо уменьшать время отрисовки. Я начал с того, что решил попробовать другую библиотеку. TFT_eSPI является самой популярной, но не единственной библиотекой для дисплеев. Первая библиотека, на которую я обратил внимание была Arduino_GFX от пользователя moononournation на странице с информацией о данной библиотек приведены данные о сопоставлении скорости отрисовки основных графических примитивов различными библиотеками. Из этой таблицы видно, что библиотека Arduino_GFX работает медленнее или практически наравне с TFT_eSPI. Также из этой таблицы видно, что библиотека Lovyan_GFX от Lovyan работает несколько быстрее. К тому же библиотека Lovyan_GFX поддерживает платформу от Makerfabs и нет необходимости углубляться в файлы конфигурации, а достаточно добавить в скетче одну строку. Для перехода на библиотеку Lovyan_GFX потребовалось изменить дополнительно всего две строки. Я не ожидал никакого эффекта, но на удивление частота обновления экрана увеличилась с 3,86 до 4,63 Гц, время отрисовки снизилось на 30% со 145 до 101 с. Визуально эффект также очень заметен.
Сохранение изображений на SD-карту.
Неожиданно полезной находкой оказалось то, что библиотека Lovyan_GFX умеет сохранять изображение с экрана в BMP или PNG на SD-карту. В моем исполнении сохранение выполняется в несколько операций, при этом разрешение изображения соответствует размеру массива интерполированных значений температуры, т.е всего 48*64. Lovyan_GFX позволяет сохранять изображение, соответствующее разрешению дисплею и содержащее помимо данных с сенсора текст, цветовую легенду и прочие элементы графического интерфейса. С библиотекой есть пример, в котором реализована функция сохранения изображения. Я добавил эту функцию в свой скетч с небольшими изменениями, а в частности было добавлено чтение и запись номера изображения из EEPROM, таким образом, после выключении питания устройства счетчик не сбрасывается и изображения не перезаписываются. Сохранение работает нормально, за исключением небольших артефактов получаемого изображения, с которыми еще предстоит разобраться.
Вывод гистограммы.
Видел в подобном проекте, как цветовая шкала выводится в виде гистограммы, показывая распределение температуры. После небольшого обдумывания вопроса реализации данного функционала решил использовать готовую библиотеку, а не писать функцию самостоятельно. В итоге взял первую попавшуюся библиотеку по запросу “Arduino histogram library” — histogram.h. Библиотека оказалась довольно проста в использовании. В скетч добавлена функция, в которой рассчитываются границы гистограммы, гистограмма заполняется значениями температуры и гистограмма выводится на дисплей в виде графика, столбики гистограммы при этом окрашены в соответствующие цвета легенды. После этого гистограмма очищается.
Расчет и вывод гистограммы на дисплей занимает порядка 12,9 мс, частота обновления экрана при этом уменьшилась с 4,63 до 4,37 Гц.
4. Использование тачскрина
Для сохранения изображения на SD-карту я использовал внешнюю сенсорную кнопку и библиотеку button2.h. Но это решение временное, так как платформа содержит емкостный тачскрин и я планирую в конечном итоге использовать его. Была добавлена функция отрисовки кнопки и считывания координат нажатия на тачскрин. Платформа прошилась но вместо изображения я увидел черный экран. Причиной оказалось то, что контроллер тачскрина, как и сенсор MLX90640 используют шину I2C, но при этом физически о ни подключены к разным пинам ESP32 и соотвественно должны иметь разные фукнкции чтения данных. MLX90640 подключен к аппаратной I2C (пины SDA – SCL), а контролер тачскрина подключен к пинам 26, 27 Шину к которой подключен MLX90640 я оставил по умолчанию как Wire, а шину к которой подключен тачскрин переименовал в Wire1. После прошивки сенсор работает нормально, контроллер тачскрина обнаруживается но на нажатия не реагирует. После некоторого перерыва я вернулся к решению проблемы. Добавил вывод координат касания в ком-порт после проверки соответствия координат касания на попадание в область кнопки, но я не получал никаких сообщений. После ещё непродолжительного перерыва в работе я сообразил добавить вывод координат касания до проверки принадлежности точки касания области кнопки и обнаружил, что тачскрин работает, но перепутаны координаты касания. После корректировки кода, таскрин заработал, но логика работы меня не совсем удовлетворяет: функция считывания координат вызывается в начале цикла, далее следует проверка координат касания и в случае попадания на кнопку вызывается функция сохранения изображения. Таким образом, если нажать на сенсор в любой другой момент, функция не будет вызвана, поэтому приходится нажимать несколько раз.
Чтобы функция считывания координат касания выполнялась постоянно с какой-то периодичностью, я решил использовать таймер. Я взял знакомую библиотеку simpletimer добавил вызов функции считывания касания каждые 100 мс, частота обновления дисплея при этом снизилась до 3,98 Гц, а сенсорное управление не стало более отзывчивым. Очевидно необходимо использовать прерывания, но получить удовлетворительный результат пока не получилось, поэтому оставил, как было раньше.