nodejs簡單實現(xiàn)中英文翻譯
幫以前同事解決一個需求,中文項目 翻譯 英文項目~~~
考慮到具體實現(xiàn)方面的問題,如果智能的話,肯定是要做中文的語法分析,不過感覺這個有難度。
所以最后的方案是遍歷文件,將中文短語匹配出來,再進行人工翻譯,將中文短語替換成翻譯的內(nèi)容。當然后期還是需要人工再檢驗下,畢竟代碼中的中文,可能會影響到相關(guān)的程序。
這個問題,明顯涉及到 多線程,文件讀寫,第一時間就想到的是 nodejs,雖然nodejs是一個主線程,但是異步文件讀寫,事件響應(yīng)機制,肯定也是調(diào)用了線程,在實際編程的時候不需要考慮線程的相關(guān)的問題。
代碼不復雜如下,寫完了之后,適當?shù)姆庋b了下
var fs = require('fs');
var http = require('http');
var filePath = 'D:\\WORK_new\\';
var logPath = 'D:\\chinese.log';
var map = {};
var num = 0;
var dictionary = (function () {
var map = {};
return {
logPath: 'D:\\chinese.log',
set: function (key, val) {
map[key] = val || '';
},
get: function (key) {
return map[key]||'';
},
save2File: function () {
fs.writeFile(this.logPath, JSON.stringify(map).replace(/","/g,'",\r\n"'),{encoding:'utf8',flag:'w'}, function (err) {
if (err) throw err;
});
},
loadFile: function (callback) {
fs.readFile(this.logPath, {encoding:'utf8'},function (err, data) {
map = JSON.parse(data);
callback();
})
},
translateByGoogle: function (callback) {
var index = 0;
for (var key in map) {
if (map[key] == '') {
index++;
(function (key) {
http.get("http://translate.google.cn/translate_a/t?client=t&hl=zh-CN&sl=zh-CN&tl=en&ie=UTF-8&oe=UTF-8&oc=2&otf=1&ssel=3&tsel=6&sc=2&q="+key, function(res) {
res.setEncoding('utf8');
var body = "";
res.on('data', function (chunk) {
body+=chunk;
}).on('end', function (){
var obj = eval('('+body+')');
map[key] = obj[0][0][0];
index--;
if (index == 0) {
callback();
}
});
}).on('error', function(e) {
console.log('http error');
index--;
if (index == 0) {
callback();
}
console.log("Got error: " + e.message);
});
})(key);
}
}
}
}
})();
function File () {
var index = 0;
var _readFile = function (pathStr, fileBack, doneBack) {
fs.readFile(pathStr,{encoding:'utf8'}, function (err, data) {
index--;
if (err) {
data = "";
console.log(err,pathStr)
//throw err;
}
fileBack(data,pathStr);
if (index == 0) {
doneBack();
}
});
};
var _walkDir = function (pathStr, fileBack, doneBack) {
fs.readdir(pathStr, function (err, files) {
files.forEach(function (file) {
if(fs.statSync(pathStr + '/' + file).isDirectory()){
_walkDir(pathStr + '/' + file, fileBack, doneBack);
} else {
if (/.js$|.html$|.htm$|.jsp$/.test(file)){
index ++;
_readFile(pathStr + '/' + file, fileBack, doneBack);
}
return;
}
});
});
}
this.walkDir = function (pathStr, fileBack, doneBack) {
index = 0;
_walkDir(pathStr, fileBack, doneBack);
}
}
//第一步 獲取中文
dictionary.logPath = logPath;
new File().walkDir(filePath, function (data) {
if (!!data) {
var match = data.match(/[\u4e00-\u9faf]+/g);
if (!!match) {
match.forEach(function (mat) {
dictionary.set(mat);
})
}
}
}, function () {
console.log('獲取中文 OK');
dictionary.save2File();
})
//第二步 google翻譯
/*
dictionary.loadFile(function () {
dictionary.translateByGoogle(function () {
dictionary.save2File();
})
});
*/
//第三步 中文替換
/*
dictionary.loadFile(function () {
new File().walkDir(filePath, function (data,pathStr) {
fs.writeFile(pathStr, data.replace(/[\u4e00-\u9faf]+/g, function (ch) {
return dictionary.get(ch);
}),{encoding:'ascii',flag:'w'}, function (err) {
if (err) throw err;
});
}, function () {
console.log('中文替換 OK');
})
});
*/
問題還是有的
1.nodejs編碼問題,在window環(huán)境下對GBK編碼支持不好,主要是utf8文件的處理
2.效率上面可能可以再通過 線程進行優(yōu)化,這塊沒做深入的考慮
3.匹配出來,可能有單個的標點符號的短語等情況,需要人工排查
實際情況中,文件是GBK的,還有些文件是utf8的,后來還是考慮通過 腳本語言 快手實現(xiàn)的時候,
1.文件編碼的問題,判斷通過搜索
判斷文件首位3個字節(jié)是不是 ef bb bf,但是這個只是針對有BOM的utf8格式
對無BOM的utf8格式,需要進行字節(jié)特征碼的判斷(有難度,精力有限,使用了上面的方案,對于無BOM的情況,進行人工排查)。
2.因為快手多線程方便編程很簡單,一直以為多線程肯定比單線程效率要好。實際情況卻和想的不一樣,單線程的比多線程的快多了??磥碇饕款i還是在讀寫文件IO上面。
以上所述就是本文全部內(nèi)容了,希望大家能夠喜歡。
相關(guān)文章
Windows中徹底刪除Node.js環(huán)境(以及npm)的方法
本文詳細介紹了如何在Windows電腦中徹底刪除Node.js環(huán)境,包括查找安裝路徑、使用控制面板卸載以及手動刪除殘留文件夾2025-01-01
使用iojs的jsdom庫實現(xiàn)同步系統(tǒng)時間
本文給大家分享的是使用iojs的jsdom庫實現(xiàn)與http://open.baidu.com/special/time/ 同步系統(tǒng)時間。思路非常的清晰,這里推薦給大家,有需要的小伙伴可以參考下。2015-04-04
NodeJS多種創(chuàng)建WebSocket監(jiān)聽的方式(三種)
這篇文章主要介紹了NodeJS多種創(chuàng)建WebSocket監(jiān)聽的方式,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06
nodejs利用http模塊實現(xiàn)銀行卡所屬銀行查詢和騷擾電話驗證示例
本篇文章主要介紹了nodejs利用http模塊實現(xiàn)銀行卡所屬銀行查詢和騷擾電話驗證示例,有興趣的可以了解一下。2016-12-12
通過NodeJS輕松使用GRPC和協(xié)議緩沖區(qū)的方法
本文介紹了GRPC和協(xié)議緩沖區(qū)的基本概念,并展示了如何在NodeJS應(yīng)用程序中使用它們,GRPC是一個高性能RPC框架,協(xié)議緩沖區(qū)則用于定義服務(wù)和序列化消息,本文給大家介紹如何在NodeJS應(yīng)用程序中使用GRPC和協(xié)議緩沖區(qū),感興趣的朋友一起看看吧2024-10-10
在Linux上用forever實現(xiàn)Node.js項目自啟動
在一臺計算機上手動跑Node項目簡單,node xx.js就搞定了,想讓Node項目后臺運行,雖然不能直接用node命令搞定,但是在安裝了forever這個包以后,還是很輕松的。不過要是在遠程服務(wù)器上構(gòu)建Node項目,如果沒法自啟動,一旦服務(wù)器重啟,那就麻煩了。2014-07-07
Nodejs實現(xiàn)獲取實時數(shù)據(jù)的三種主流方式詳解
這篇文章主要為大家詳細介紹了Nodejs前端獲取實時數(shù)據(jù)的三種主流方式,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2024-02-02

