RaspberryPi Model 3B–Hadoop集群

说过要搭个简易Hadoop集群,so 就简单记录一下,搭建的过程好了。

手里现在有两块RP 3B.

整个环境搭建起来还是蛮快的.

首先确保两块板子已经固定好了静态IP,然后就是java环境已经到达1.8(具体可以看一下NAS篇),

修改一下主机名字(非必需)

sudo vi /etc/hostname

把名字改成你想用的,我这边一台master,一台node1。

修改host文件,做好IP映射. Continue reading “RaspberryPi Model 3B–Hadoop集群”

N久没更新东西啦

最近想折腾个RESTful API的东西。

服务器用Node.js实现,移动端就做个Android App吧,用来监控自己的服务器。

var express = require('express');
var app = express();
var fs = require('fs');
var child_process = require('child_process');
 
app.get('/status',function(req,res){
	fs.readFile(__dirname+'/'+'status.json','utf8',function(err,data){
		var worker = child_process.exec('ver',function(err,stdout,stderr){
			if(err){
				console.log(err.stack);
				console.log('Error code: '+err.code);
				console.log('Signal received: '+err.signal);
			}
			data = JSON.parse(data);
			var reg=/[\r\n]/g;
			stdout=stdout.replace(reg,'');
			data['OS']=stdout;
			data = JSON.stringify(data);
			res.end(data);
			console.log(data);
			console.log('stderr: '+stderr);
			fs.writeFile(__dirname+'/'+'status.json',data,function(err){
			if(err){
				return console.error(err);
				}
	});
		});
		worker.on('exit',function(code){
			console.log('Get System version successfully!');
		});
	});
 
});
 
var server = app.listen(8080,function(){
	var port = server.address().port;
	console.log('Server is running on port: %s',port);
})

基础代码,就跟上面的差不多,读取的是Windows系统的版本信息,然后响应请求并写入JSON,嘛,慢慢完善就是了。

服务器端基于Node.js,用的express框架,其实读取服务器信息什么的,很简单,就是简单的开进程用shell指令读数据、读配置文件,然后处理一下,写入JSON。

客户端打算在Android上写个APP,不过现在有选择困难,不知道该用那个版本的SDK。。。

这个简单的,后面会弄些复杂点的东西 🙂

記錄下配置LNMP的一些東西

自己的系統是CentOS 5.4 32 bits,其他的發行版本應該大體也是差不多的。

在使用包管理器的時候,建議首先安裝個fastestmirror,進而加快下載速度。

安裝東西之前,可以先更新一下系統。

下面羅列一些相關LNMP環境要用到的一些工具和相關依賴庫。

  • patch,make,gcc,g++,libtool,flex,bison,autoconf,kernel-devel肯定是要有的,這些是可以編譯程式包的先決條件。
  • libjpeg,libpng應該是php那塊需要用到的圖片處理庫,請務必裝上。
  • freetype,libxml2 ,zlib glib2,bzip2,這些東西作什麼用,大家應該都懂,應該是nginx、PHP、mysql要用上的庫。
  • ncurses e2fsprogs krb5 libidn 這些提供字符、編碼、文檔系統相關支持的程式。
  • openssl vim-minimal curl 這幾個東西應該不用多說。
  • fonts-chinese scim-chewing scim-pinyin scim-tables-chinese 为系统提供中文輸入支持。

ok,解決了依賴庫,接下來就是要安裝的一些基本程式。 Continue reading “記錄下配置LNMP的一些東西”

机器学习-13(异常检测)

这是第十六部分了。。。。讲得是异常检测,非监督学习算法中的一种。

先举个课程里的例子来引开这部分的内容吧,对飞机引擎的异常检测,课程里选择了热量生成和振动强度两个特征来引入异常检测,使用大量的训练样本在二维坐标系中绘制出两个特征对应关系的图,此时有一个新引擎送来检测,通过这两个特征,咱可以通过判断其数据点是否在正常区域范围内与否,来分析其是否异常。

Anomaly detection example

异常检测例子:飞机引擎检测

根据上图,咱可以通过数据点的密集程度来判断异常情况,点越密集越正常,否则异常。可以通过使用一个阈值来辅助判断,小于阈值为异常,大于阈值为正常。 Continue reading “机器学习-13(异常检测)”