标签归档:mds

ceph mds 存储大文件的max_file_size的问题定位

问题: export导出大于1T的大文件到cephfs目录时报错
1 挂载cephfs的文件系统到本地

2 写入数据

3 使用stap进行跟踪

4 stap的输出

5 分析
SyS_ftruncate 为big file error

s_maxbytes的大小赋值:1T

s_maxbytes 大小的更新

max_file_size 的大小设置来自于参数的配置

6 修改参数
修改conf文件中的
[mds]
max_file_size = xxx

7 查看参数修改后的结果

mds 启动时引起权限错误

在auth=none的环境下,引起权限问题导致无法正常启动,问题可能因bootstrap-mds/{cluster}.keyring文件存在问题引起的。
了解一下bootstrap-mds/{cluster}.keyring怎么生成的:
1. 启动 monitor 节点的 ceph-mon 守护进程;
2. monitor 节点执行 ceph-create-keys 命令;
3. ceph-create-keys会创建 {cluster}.client.admin.keyring;
4. ceph-create-keys 会创建 bootstrap-{osd,mds}/{cluster}.keyring
5. ceph-deploy 所在运行节点从 monitor 节点取 {cluster}.client.admin.keyring,{cluster}.mon.keyring, bootstrap-{osd,mds}/{cluster}.keyring到当前路径;
6. 以上任何一步如果文件已存在,则不会新建(或去 monitor 节点取)文件
7. 如果文件不存在,可以通过ceph-authtool重新生成bootstrap-{osd,mds}/{cluster}.keyring.

ceph 添加/移除osd 设备

1 删除osd设备

2 新增osd 设备

可能遇到的问题:

osd日志信息为:

mds 日志信息为:

错误的原因可能为:osd 没有在crushmap中。