День 040 — Дневник продакт-менеджера — Вывод продукта по проектированию данных Red5Sorcery на рынок

Прототипу не обязательно доходить до финишной линии, чтобы добиться успеха. Сегодня мы приняли решение прекратить дальнейшую разработку **WASM-001b**, прототипа WebAssembly для Red5Sorcery Data Sculptor. Это не было провалом. Он сделал именно то, что должен делать прототип: уменьшил неопределенность, выявил ограничения и предоставил нам достаточно веские доказательства для принятия более обоснованного архитектурного решения. Несколько дней назад производительность браузера выглядела тревожной. Поэтому вместо того, чтобы гадать, мы начали разбираться в проблеме. Сначала мы доказали, что Microsoft Edge может передавать наш полный *7,25 ГБ CSV-файл Statistics Canada* по ограниченному пути от браузера к WASM, в то время как Rust выполнял сертификацию всего файла в кодировке UTF-8 со скоростью в сотни МиБ в секунду. Затем мы создали намеренно небольшой экспериментальный материализатор Rust/WASM. На *ноутбуке Intel N100 с 16 ГБ оперативной памяти* обработка примерно *29 миллионов строк* и отображение столбца VALUE заняли около **46 секунд**. Это изменило вопрос. Мы планировали ещё один эксперимент: интегрировать существующий общий движок командной строки в браузер и точно измерить, откуда берутся дополнительные затраты. Но в итоге более полезным стал вопрос: *Если мы уже знаем, что существует более простая и быстрая архитектура, которую стоит развивать, то какое решение по продукту на самом деле изменит этот эксперимент?* Ответ был: не очень. Поэтому мы остановились. WASM-001b остаётся в точном соответствии с инженерной цепочкой, которая привела нас к этому результату. Мы не утверждаем, что существующий общий движок потерпел неудачу в WebAssembly, и мы никогда не проводили окончательную приёмку WASM-001b. Мы просто узнали достаточно, чтобы оправдать изменение курса. Далее идёт **WASM-002**: новый, разработанный для производственной среды, браузерный подход. В числе направлений разработки — двухэтапная обработка, сертификация кодирования всего исходного кода перед аналитическим анализом, многоколоночная материализация за один проход, наша новая модель хранения и именования файлов Data Sculptor, детерминированная обработка конфликтов, простые TXT-задания и общее ядро ​​Rust, проверенное в браузере, прежде чем мы создадим на его основе автономный CLI. Иногда наиболее ценный результат прототипа — это понимание того, когда вы узнали достаточно, чтобы прекратить его разработку. *Работа с данными, которую можно объяснить.* #DataEngineering #WebAssembly #Rust #ProductManagement #SoftwareArchitecture #LocalFirst #OpenSource #BuildInPublic #DataSculptor