一.簡介fastdfs
1.什么是fastdfs
- fastdfs是一個輕量級的開源分布式文件系統；
- fastdfs主要解決了大容量的文件存儲和高并發訪問的問題，文件存取時實現了負載均衡；
- fastdfs實現了軟件方式的RAID，可以使用廉價的IDE硬盤進行存儲支持存儲服務器在線擴容支持相同內容的文件只保存一份，節約磁盤空間；
- fastdfs只能通過Client API訪問，不支持POSIX訪問方式；
- fastdfs特別適合大中型網站使用，用來存儲資源文件（如：圖片、文檔、音頻、視頻等等）。
2.fastdfs框架圖
作者（YuQing）給出了框架圖如下：
其中：
Tracker Server：跟蹤服務器，主要做調度工作，在訪問上起負載均衡的作用。記錄storage server的狀態，是連接Client和Storage server的樞紐。
Storage Server：存儲服務器，文件和meta data都保存到存儲服務器上
group：組，也可稱為卷。同組內服務器上的文件是完全相同的文件標識：包括兩部分：組名和文件名（包含路徑）
meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024,heigth=768
3.上傳文件流程
（1）client詢問tracker上傳到的storage，不需要附加參數；
（2）tracker返回一臺可用的storage；
（3）client直接和storage通訊完成文件上傳。
4.下載文件流程
（1）client詢問tracker下載文件的storage，參數為文件標識（組名和文件名）；
（2）tracker返回一臺可用的storage；
（3）client直接和storage通訊完成文件下載。
5.同步機制
（1）同一組內的storage server之間是對等的，文件上傳、刪除等操作可以在任意一臺storage server上進行；
（2）文件同步只在同組內的storage server之間進行，采用push方式，即源服務器同步給目標服務器；
（3）源頭數據才需要同步，備份數據不需要再次同步，否則就構成環路了；
（4）上述第二條規則有個例外，就是新增加一臺storage server時，由已有的一臺storage server將已有的所有數據（包括源頭數據和備份數據）同步給該新增服務器。
6.tracker server目錄結構
（1）data
storage_groups.dat：存儲分組信息
storage_servers.dat：存儲服務器列表
（2）logs
trackerd.log：tracker server日志文件
7.storage server目錄結構
1）data
.data_init_flag：當前storage server初始化信息
storage_stat.dat：當前storage server統計信息
sync：存放數據同步相關文件
binlog.index：當前的binlog文件索引號
binlog.###：存放更新操作記錄（日志）
${ip_addr}_${port}.mark：存放同步的完成情況
（2）logs
storaged.log：storage server日志文件
以上理論參考：
ChinaUnix論壇：http://bbs.chinaunix.net/forum-240-1.html
github下載地址：https://github.com/happyfish100
二、fastdfs安裝和測試
1.下載
需要下載：libfastcommon fastdfs（2.0之前的版本需要以來libevent）
2.安裝
（1）安裝libfastcommon
$ tar xzvf libfastcommon-1.0.38.tar.gz
$ cd libfastcommon-1.0.38
$ ./make.sh
$ sudo ./make.sh install
（2）安裝fastdfs
$ tar xzvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11
$ ./make.sh
$ sudo ./make.sh install
3.配置
集群搭建拓撲圖（由于硬盤不夠了，下面192.168.31.4和192.168.31.14現在還沒有，擴容后加上）
（1）配置tracker（192.168.31.95/192.168.31.99）
目錄文件如下：
然后，執行如下：
$sudo su
#cp tracker.conf.sample tracker.conf
配置tracker.conf文件：
修改：base_path=/home/fastdfs/tracker （注意：在啟動前必須存在此目錄，否則會報錯，找不到路徑，也就是說需要手動新建tracker目錄）
啟動：
/etc/init.d/fdfs_trackerd start
（2）配置storage（192.168.31.2/192.168.31.12）
$ cd /etc/fdfs
$sudo su
#cp storage.conf.sample storage.conf
修改：
group_name=group1（192.168.31.2） 或者group2（192.168.31.12）
base_path=/home/fastdfs/storage
store_path0=/home/fastdfs/storage
修改：tracker服務ip與port：
tracker_server=192.168.31.95:22122 （注意：這里31.2 tracker_server配置31.95 ，31.12 tracker_server配置31.99）
啟動：
/etc/init.d/fdfs_storaged start
查看fastdfs的相應配置信息
# fdfs_monitor /etc/fdfs/storage.conf
有以下信息才算成功：
測試上傳, 選擇192.168.31.99 tracker機器當做fdfs_client
$ cd /etc/fdfs
$ sudo su
# cp client.conf.sample client.conf
# vim client.conf
修改：
base_path = /home/fastdfs
tracker_server=192.168.31.99:22122
測試上傳net.png文件：
fdfs_upload_file /etc/fdfs/client.conf net.png
三、nginx配置
需要安裝：
fastdfs-nginx-module-1.20 類似插件的東西
nginx-1.14.2.tar.gz
安裝nginx需要先安裝：
openssl zlib pcre
把astdfs-nginx-module插入到nginx（需要對nginx進行configure和make&&make install）
./configure --add-module=../../fastdfs-nginx-module/src/
會報錯：需要修改fastdfs-nginx-module-1.20/src/config文件
ngx_addon_name=ngx_http_fastdfs_module
if test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/local/include"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/local/include"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
修改為：
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
ngx_addon_name=ngx_http_fastdfs_module
if test -n "${ngx_module_link}"; then
ngx_module_type=HTTP
ngx_module_name=$ngx_addon_name
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
ngx_module_libs="-lfastcommon -lfdfsclient"
ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
然后重新configure 和make && make install
接下來，cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件
$ cd fastdfs-nginx-module-1.20/src
$ cp mod_fastdfs.conf /etc/fdfs/
修改mod_fastdfs.conf
tracker_server=192.168.31.99:22122
store_path0=/home/fastdfs/storage
group_name=group1
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
將fastdfs-5.11/conf/
$ cp http.conf /etc/fdfs/
$ cp mime.types /etc/fdfs/
修改：http.conf
http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/
修改nginx.conf
cd /usr/local/nginx/sbin
vim ../conf/nginx.conf
8888端口號與/etc/fdfs/storage.conf中的http.server_port=8888相對應
上傳一張圖片
http://192.168.31.12:8888/group1/M00/00/00/wKgfDFzxVTyAM4suABWWvfB6x_k962.png
到此這篇關于fastdfs+nginx集群搭建的實現的文章就介紹到這了,更多相關fastdfs+nginx集群搭建內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！
