Когда использовать потоки Node.js вместо традиционного буферного ввода-вывода?

Традиционный буферный ввод-вывод обычно предполагает загрузку всего файла или набора данных в память вашего компьютера (как

Buffer

объект), прежде чем вы сможете начать его обработку. Например, используя

fs.readFileSync()

:

const fs = require('fs');

try {
    // Traditional: Read the entire file into memory
    const data = fs.readFileSync('large-file.txt', 'utf8');
    console.log('File loaded completely into memory.');
    // Process the entire 'data' variable here
    console.log(`First 100 characters: ${data.substring(0, 100)}`);
} catch (err) {
    console.error('Error reading file:', err);
}

Этот подход прост и идеально подходит для небольших файлов или наборов данных. Однако при работе с большими объемами данных возникают серьезные проблемы:

1. Потребление памяти: Если

large-file.txt

составляет несколько гигабайт, загрузка всего файла в память быстро исчерпает оперативную память вашей системы, что приведет к сбою или очень медленной работе вашего приложения. 2. Затраты времени: Вам придется дождаться загрузки всего файла, прежде чем вы сможете начать обработку первого байта. Это приводит к задержке.

Вот где Streams сияет! Они предлагают значительные преимущества:

Преимущества использования потоков:

1. Эффективность памяти. Вместо загрузки всего в память потоки обрабатывают данные небольшими, управляемыми порциями. Это означает, что вы можете обрабатывать файлы, размер которых намного превышает доступную вам память.
   • Аналогия: Вместо того, чтобы нести 100 ведер воды одновременно (и большую часть из них, вероятно, пролить), вы несете по одному ведру за раз, опорожняете его и возвращаетесь за следующим.
2. Эффективность времени (конвейерная обработка): Вы можете начать обработку данных, как только прибудет первый фрагмент. Вам не нужно ждать весь набор данных. Это имеет решающее значение для обработки в реальном времени или уменьшения воспринимаемой задержки.
   • Аналогия: сборочная линия. Как только с первой станции скатывается шасси автомобиля, на нем может начать работу следующая станция, даже если предыдущая машина еще находится в сборке.
3. Компонуемость. Потоки спроектированы таким образом, чтобы их можно было легко объединять в цепочку с помощью

.pipe()

метод. Это позволяет очень просто строить сложные конвейеры обработки данных. Например, чтение файла, его сжатие и последующая загрузка по HTTP — и все это в виде единого непрерывного потока.

Когда использовать потоки:

Вы можете использовать потоки всякий раз, когда имеете дело с потенциально большими объемами данных или когда данные создаются или потребляются постепенно:

• Чтение/запись больших файлов. Копирование файлов, обработка файлов журналов, обработка пользовательских загрузок.
• Сетевое общение: HTTP-запросы/ответы, WebSockets, TCP-сокеты. Данные часто поступают по сети порциями.
• Преобразование данных. Сжатие/распаковка данных на лету (например, с помощью

zlib

), шифрование/дешифрование, анализ больших файлов CSV/JSON.

• Любой сценарий, при котором данные поступают или создаются постепенно.

Пример кода (чтение/запись файла на основе потока):

const fs = require('fs');

// Create a readable stream from 'large-file.txt'
const readStream = fs.createReadStream('large-file.txt');
// Create a writable stream to 'output-file.txt'
const writeStream = fs.createWriteStream('output-file.txt');

let chunkCount = 0;

// Event listener for when a data chunk is available
readStream.on('data', (chunk) => {
    chunkCount++;
    console.log(`Received chunk ${chunkCount} of ${chunk.length} bytes.`);
    // As soon as a chunk arrives, write it to the output file
    writeStream.write(chunk);
});

// Event listener for when the entire file has been read
readStream.on('end', () => {
    console.log(`All ${chunkCount} chunks processed. File reading complete.`);
    writeStream.end(); // Signal that no more data will be written
});

// Event listener for errors during reading
readStream.on('error', (err) => {
    console.error('Error reading file:', err);
});

// Event listener for when the output file is finished writing
writeStream.on('finish', () => {
    console.log('File writing complete.');
});

Самый распространенный способ связать потоки — использовать

pipe()

метод, который автоматически обрабатывает поток данных и противодавление (поясняется далее):

const fs = require('fs');

// A much simpler way to copy a file using streams:
// pipe() automatically reads from readStream and writes to writeStream
// and handles backpressure for you!
fs.createReadStream('large-file.txt').pipe(fs.createWriteStream('output-file-piped.txt'));

console.log('File copy initiated using .pipe()');
// The 'finish' event will still fire on the writable stream if you attach a listener
// fs.createWriteStream('output-file-piped.txt').on('finish', () => console.log('Pipe copy finished.'));

Концепция «противодавления» в потоках

Что такое противодавление?

Представьте, что у вас есть садовый шланг (читаемый поток), льющий воду в раковину (записываемый поток).

• Если шланг широко открыт и вода льется очень быстро, но слив в раковине идет медленно или частично засорен, что произойдет? Раковина переполнена!

В потоках Node.js обратное давление возникает, когда

Readable

поток (производитель данных) генерирует данные быстрее, чем

Writable

поток (потребитель данных) может обрабатывать и записывать их.

Если противодавление не контролируется,

Writable

внутренний буфер потока быстро заполнится входящими данными. Если он продолжит получать данные быстрее, чем сможет обработать, он в конечном итоге исчерпает доступную память, что приведет к снижению производительности или даже к сбою приложения.

Как можно контролировать или предотвращать противодавление:

Потоки Node.js имеют встроенные механизмы управления противодавлением.

1. Автоматическое управление с

.pipe()

(рекомендуется)

Когда вы используете

.pipe()

метод Node.js автоматически обрабатывает противодавление за вас. Это самый простой и надежный способ справиться с этим.

Как это работает за кулисами:

• Когда ты звонишь

readableStream.pipe(writableStream)

, Node.js настраивает прослушиватели событий.

Итог

Ключевой вывод интервью: когда использовать потоки Node.js вместо традиционного буферного ввода-вывода?