Sitemap
George Chen

George Chen

Co Founder at Wrkfree & full-stack developer

Basic NodeJs stream

2 min readOct 2, 2014

--

stream是nodejs中處理資料傳輸的特別方式,它將一個較大的物件抽像化成無數個較小的data chunk,接著再將這些較小的data chunk串流到我們會需要用到的地方…

Why should I use stream ?

由於nodejs的非同步特性,當我們在處理較大的檔案或物件時,所需花費的時間必定增加許多,間接的就會影響到i/o thread的執行時間!
=> 造成nodejs 程式效能低弱!

但如果我們將較大的物件切成較小的data chunk時,這樣我們就可以在每次i/o thread執行時間內,傳送一定數量的data chunk而不阻塞i/o

Output readStream content .pipe()

針對每個建立出來的stream 物件,我們可以透過stream.pipe()這個function將stream的內容串流到目的端的物件

basic usage

這種類型的stream主要是用來當作串流到目的端時的來源stream

var readStream = require('stream').Readable;// 這邊產生一個新的readstream object
var rs = new readStream;
rs.push('test1 ');
rs.push('test2\n');
// 最後push null 表示停止塞東西到readStream中
rs.push(null);

// pipe(dst)中的參數為目的端的物件(dst)
// 最後我們將stream的內容 output到terminal上;

rs.pipe(process.stdout);

stream.pipe(dst)最後會回傳dst物件,所以pipe()還可以套用function chain的方式,ex: stream.pipe(a).pipe(b),pipe(c);

readStream on demand push

前面的範例主要是先將readstream的內容先一次填完以後,最後再去使用readStream這個物件;
但這邊還提供了一個更好的方法:on-demand stream

透過自訂rs._read方法,當有client想要透過stream取得物件時,才去找到對應的data chunks

// push chunks on-demand by defining a ._read function
var
readStream = require('stream').Readable;
var rs = readStream();

var c = 97;
// 這邊自訂的_read() 只有在每次consumer準備使用它們時才產生data chunk
// 到目前的readStream中

rs._read = function () {
// 如果透過setTimeout,還可以將每次的request延遲輸出
rs.push(String.fromCharCode(c++));
if (c > 'z'.charCodeAt(0)) rs.push(null);
};

rs.pipe(process.stdout);

The _read function will also get a provisional size parameter as its first argument that specifies how many bytes the consumer wants to read!

Get George Chen’s stories in your inbox

Join Medium for free to get updates from this writer.

If you want to create a readable stream that pushes arbitrary values instead of just strings and buffers, make sure to create your readable stream with Readable({ objectMode: true }).

除了使用pipe()來觸發readStream的讀取時,stream-hanbook這邊還有其它更進階的用法來使用readStream ...

write stream通常指的是可被寫入的stream object;但這個stream 物件是無法當成來源來讀取的。
EX: 當我們要寫檔的話就需要建立一個writeStream

var readStream = require(‘stream’).Readable;
var writeStream = require(‘stream’).Writable;

//這邊可以簡單看出,writeStream會是pipe()中的目的端物件
readStream.pipe(writeStream);

不同於readStream,如果我們要讓自訂的writeStream真的有作用時,就必須自訂_write(),每次寫入時這個func都會被呼叫

Basic Usage

var Writable = require(‘stream’).Writable;
var ws = Writable();
// 這邊我們必須定義一個_write()
// chunk, 每個被寫入的data chunk
// enc, 編碼的方式 utf-8, buffer ...
// next, 每次完成寫入的動作時,就在呼叫next,執行下一次寫入

ws._write = function (chunk, enc, next) {
console.dir(chunk);
next();
};
var str = 'abcde';
// 這邊可以將任意的字串or字元 寫入到剛定義出來的writeStream中
// 而預設的enc格式會是"buffer"

ws.write(str);

Write and decoding String

var Writable = require(‘stream’).Writable;
// writeStream 這邊的decode設定會讓每次被寫入的內容為utf-8
var ws = Writable({ decodeStrings: false });

ws._write = function (chunk, enc, next) {
console.dir(chunk);
next();
};
var str = 'abcde';
ws.write(str);
// 這邊會在_write() output時 show出 "abcde" 而非buffer [xxxxx]

Write from object

var Writable = require(‘stream’).Writable;
// 如果要寫入的來源是"object"的話,則必須設定objectMode=true
var ws = Writable({ objectMode: true });
var json = {
name: ‘abc’,
test: true
};
ws._write = function (chunk, enc, next) {
console.dir(chunk);
next();
};
ws.write(json);
// 這邊我們將這個json 物件透過stream.write() output出去;
// 這邊console.log show出來的內容就會是json物件的內容

通常會使用到write stream的地方都是在要把目前資料輸出到某個目的地
ex: 我們可以建立一個array來儲存stream輸出的內容,每次_write被呼叫時,就儲存當下的data chunk...

transform stream則是同時可以提供readStream的特性(providing data), 以及writeStream的特性(output data);它就像是個"middleware",

當readStream 的內容pipe()到transformStream以後,它可以做些處理後,再真正的丟給writeStream輸出到目的端 !

transform stream 必須要再執行_transform() 這個function

sample code 可以直接參考下面File Stream的用法

最常見的stream的用法就是在file i/o 上,而nodejs 也內建了file streaming的方式…

Copy file to another file by streaming

var fs = require(‘fs’);// 建立 readable file stream and writable stream
// 讀檔的檔名 "wrods",目的端的檔名:"words2"

var rStream = fs.createReadStream(‘./words’);
var wStream = fs.createWriteStream(‘./words2.txt’);
function upperCaseStream(){
var ws = require(‘stream’).Transform();
// transform stream必須自訂_transform()這個function
ws._transform = function(chunk, enc, next){
var upper = chunk.toString().toUpperCase();
// 收到stream時又使用push()的方式
// 建立成新的readStream,所以又可以當作下一個writeStream的source

this.push(upper);
next();
}
return ws;
}
var tStream = new upperCaseStream();// 每次讀"words"的data chunk時,
// 透過中間的tStream將所有的內容都轉換成大寫字母,
// 最後再將資料寫到"words2.txt"上
rStream.pipe(tStream).pipe(wStream);

--

--