Cloudflare представила новую систему обработки фрагментированных запросов

Что произошло и что подтверждено

Компания Cloudflare представила новую функцию Origin Range Requests, которая позволяет более эффективно обрабатывать запросы на части файлов. Это решение устраняет необходимость настройки размера диапазона и обращения в службу поддержки, обеспечивая более гибкое и автоматическое управление кэшированием диапазонов.

Ранее Cloudflare использовала статическую конфигурацию зон для кэширования запросов на диапазоны, что приводило к неэффективному использованию сетевых ресурсов и дисковых операций. Новая реализация, основанная на сервере Pingora, позволяет хранить каждый кэшированный файл на диске в виде фиксированных фрагментов. Это упрощает процесс обработки запросов на диапазоны и делает его более предсказуемым, устраняя проблемы, связанные с выбором размера диапазона клиентами.

Какую задачу решает технология

Технология Origin Range Requests от Cloudflare решает задачу оптимизации процесса доставки больших файлов через сеть доставки контента (CDN). Она позволяет более эффективно обрабатывать запросы на части файлов, устраняя необходимость в ручной настройке размера диапазона и обращения в службу поддержки.

Благодаря использованию фиксированных фрагментов для хранения кэшированных файлов, новая реализация Origin Range Requests обеспечивает более предсказуемое и эффективное управление кэшированием диапазонов. Это позволяет сократить ненужные загрузки и перемещение данных между центрами обработки данных, а также оптимизировать использование сетевых ресурсов и дисковых операций.

Основные технические детали

Основные технические детали реализации Origin Range Requests заключаются в использовании фиксированного размера фрагментов для хранения кэшированных файлов на диске. Это решение позволяет избежать необходимости настройки размера диапазона запросов на стороне клиента и обеспечивает более предсказуемое управление кэшированием. При поступлении запроса на часть файла система проверяет, какие байты уже находятся в кэше, и обслуживает их напрямую. Для отсутствующих байтов выполняются запросы к исходному источнику с учётом границ фрагментов кэша.

Технология Origin Range Requests также включает механизмы координации данных, находящихся в кэше и в процессе загрузки. Это позволяет эффективно обрабатывать ситуации, когда запрошенные байты распределены между кэшированными данными, ответами от исходного источника и загрузками, уже находящимися в процессе. Такой подход обеспечивает корректное формирование ответов на запросы, даже если данные поступают из разных источников, и способствует оптимизации использования сетевых ресурсов и дисковых операций.

Как работает решение на практике

На практике технология Origin Range Requests от Cloudflare работает следующим образом: при поступлении запроса на часть файла система определяет, какие байты уже находятся в кэше, и обслуживает их напрямую. Для отсутствующих байтов выполняются запросы к исходному источнику с учётом границ фрагментов кэша. Это позволяет избежать ненужных загрузок и перемещения данных между центрами обработки данных.

Кроме того, технология включает механизмы координации данных, находящихся в кэше и в процессе загрузки. Это обеспечивает корректное формирование ответов на запросы, даже если данные поступают из разных источников. Такой подход способствует оптимизации использования сетевых ресурсов и дисковых операций, что в итоге приводит к более быстрой доставке файлов пользователям.

Возможности для разработчиков

Разработчики получают возможность использовать Origin Range Requests без необходимости дополнительной настройки или обращения в службу поддержки. Активация функции осуществляется через правило кэширования, а Cloudflare берёт на себя все последующие процессы. Это упрощает работу с большими файлами и делает управление кэшем более эффективным.

Благодаря использованию фиксированного размера фрагментов для хранения кэшированных файлов, система обеспечивает более предсказуемое и оптимизированное управление данными. Разработчики могут быть уверены в том, что запросы на части файлов будут обрабатываться быстро и корректно, даже при высокой нагрузке и большом объёме данных. Это позволяет сократить время отклика и улучшить общую производительность системы.

Ограничения и открытые вопросы

Несмотря на значительные улучшения в обработке запросов диапазонов, система всё ещё сталкивается с определёнными ограничениями. Запросы, размер которых меньше размера фрагмента кэша, могут потребовать загрузки целого фрагмента, содержащего запрашиваемые данные. Это приводит к дополнительным операциям и использованию ресурсов, хотя и в предсказуемых пределах.

Кроме того, при работе с диапазонами, не выровненными по границам фрагментов кэша, система берёт на себя дополнительные издержки. Однако благодаря переходу на фиксированный размер фрагментов эти издержки становятся ограниченными и предсказуемыми, что позволяет избежать непредсказуемого влияния на производительность системы и исходные серверы.

Значение для компаний и бизнеса

Введение функции Origin Range Requests от Cloudflare имеет важное значение для компаний и бизнеса, поскольку позволяет оптимизировать процесс доставки больших файлов пользователям. Благодаря использованию фиксированного размера фрагментов для хранения кэшированных файлов и механизмов координации данных, находящихся в кэше и в процессе загрузки, компании могут сократить время отклика и улучшить общую производительность своих систем.

Это особенно актуально для бизнеса, работающего с большими объёмами данных и высоким трафиком. Оптимизация использования сетевых ресурсов и дисковых операций приводит к более быстрой доставке файлов пользователям, что повышает их удовлетворённость и лояльность. Кроме того, упрощение работы с большими файлами и эффективное управление кэшем позволяют компаниям сократить затраты на инфраструктуру и обслуживание, что также положительно сказывается на их финансовых показателях.