Planet Ceph

Aggregated news from external sources

  • March 28, 2020
    Use ceph-fuse to mount CephFS

    The upstream documentation: * nautilus – https://docs.ceph.com/docs/nautilus/cephfs/fuse/* master – https://docs.ceph.com/docs/master/cephfs/fuse/ Steps to assert ceph-fuse is working First, deploy a cluster with at least one MDS running. Second, decide if you will run ceph-fuse as root or as a normal user and decide which machine will be the “client machine” (it must not be a part …Read more

  • March 28, 2020
    How to verify that an encrypted OSD is really encrypted?

    Source: https://github.com/SUSE/doc-ses/issues/218 Since decrypting the data on an encrypted OSD disk requires knowledge of the corresponding dm-crypt secret key, OSD encryption provides protection for cases when a disk drive that was used as an OSD is decommissioned, lost, or stolen. Scenario: You have deployed some OSDs that are supposedly encrypted, but don’t know how to …Read more

  • January 9, 2020
    brctl 增加桥接网卡

    前言 之前有一篇介绍配置桥接网卡的,这个桥接网卡一般是手动做虚拟化的时候会用到,通过修改网卡的配置文件的方式会改变环境的原有的配置,而很多情况,我只是简单的用一下,并且尽量不要把网络搞断了,万一有问题,远程把机器重启一下也就恢复了,不至于反复去定位哪里改错了,当然如果是能够直连的修改的时候,还是建议通过配置文件的方式去修改 安装必要的软件包 yum install bridge-utils 选择想要修改的网卡 [root@lab101 ~]# ifconfig ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.0.101 netmask 255.255.255.0 broadcast 192.168.0.255 inet6 fe80::20c:29ff:fe19:3efb prefixlen 64 scopeid 0x20<link> ether 00:0c:29:19:3e:fb txqueuelen 1000 (Ethernet) RX packets 181 bytes 16447 (16.0 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 98 bytes 16871 (16.4 KiB) TX …Read more

  • December 9, 2019
    Creating a Management Routing Instance (VRF) on Juniper QFX5100

    For a Ceph cluster I have two Juniper QFX5100 switches running as a Virtual Chassis. This Virtual Chassis is currently only performing L2 forwarding, but I wanted to move this to a L3 setup where the QFX switches use Dynamic Routing (BGP) and thus are the gateway(s) for the Ceph servers. This works great, but …Read more

  • November 25, 2019
    KubeCon San Diego: Rook Deep Dive

    Date: 21/11/19 Video, my talk starts at 22 minutes: If the slides don’t render properly in the web viewer, please download them: Source: Sebastian Han (KubeCon San Diego: Rook Deep Dive)

  • October 22, 2019
    Installing Ceph the Easy-Peasy Way

    with Paul Cuzner (Red Hat) Lowering the bar to installing Ceph # The last few years have seen Ceph continue to mature in stability, scale and performance to become the leading open source storage platform. However, getting started with Ceph has typically involved the administrator learning automation products like Ansible first. While learning Ansible brings …Read more

  • September 19, 2019
    ceph osd tree的可视化

    前言 很久没有处理很大的集群,在接触一个新集群的时候,如果集群足够大,需要比较长的时间才能去理解这个集群的结构,而直接去看ceph osd tree的结果,当然是可以的,这里是把osd tree的结构进行了一个结构化输出,也可以理解为画出一个简单的结构图,比较适合给其它人讲解你对crush做了哪些改变,这个如果指着文字来讲估计很多人会听的云里雾里,如果有比较方便的方式出图就比较好了 为此写了一个小工具自己用,正好也可以看看我们对结构做简单调整后的效果 创建一个模拟集群 环境就一台机器,不需要用到磁盘,这里是模拟结构创建一个大集群40台机器 seq 1 40 |xargs -i ceph osd crush add-bucket lab{} hostseq 1 40|xargs -i ceph osd crush move lab{} root=default 创建一个960个的集群 seq 1 960 |xargs -i ceph osd create 放到指定的主机 #! /bin/shfor osd in `seq 0 959`dohost=$(( (($osd / 24)) + 1 ))ceph osd crush create-or-move osd.$osd …Read more

  • September 8, 2019
    高性能arm运行ceph存储基准测试

    关于arm 之前wdlab对外发布过一次约500个节点的arm的ceph集群,那个采用的是微集群的结构,使用的是双核的cortex-a9 ARM处理器,运行速度为1.3 GHz,内存为1 GB,直接焊接到驱动器的PCB上,选项包括2 GB内存和ECC保护 这个在国内也有类似的实现,深圳瑞驰商用Arm存储NxCells 这个采用的是微集群的架构,能够比较好的应对一些冷存场景,但是今天要说的不是这种架构,而是一个比较新的平台,采用的是高性能的arm的架构,也就是类似X86的大主板结构很多人了解的arm的特点是小,功耗低,主频低,这个是以前的arm想发力的场景,类似于intel做的一款atom,在很早期的时候,我在的公司也尝试过基于atom主板做过1U的ceph存储,但是后来各种原因没有继续下去 实际上arm也在发力高性能的场景,但是这个比较新,并不是每个人都能接触的到,在这里,我把我们的硬件设备的测试数据发一部分出来,也许能改变你对arm的印象,在未来硬件选型的时候,也许就多了一层选择 高性能arm设备说明 System Information PROCESSOR: Ampere eMAG ARMv8 @ 3.00GHz Core Count: 32 Scaling Driver: cppc_cpufreq conservative GRAPHICS: ASPEED Screen: 1024×768 MOTHERBOARD: MiTAC RAPTOR BIOS Version: 0.11 Chipset: Ampere Computing LLC Skylark Network: 2 x Intel 82599ES 10-Gigabit SFI/SFP+ + Intel I210 MEMORY: 2 x 32 GB …Read more

  • September 3, 2019
    bluestore的osd自启动

    前言 自启动相关的文章很多,有分析的很详细的文章,这里就不做赘述,本篇讲述的是什么情况下用,怎么用的问题 使用场景 一台机器的系统盘坏了,需要重装系统,相关的一些信息没有了,但是上面的数据盘还是在的,所以需要保留 某个磁盘需要换台机器进行启动,但是那台机器上没有相关的信息 处理过程 自启动的相关处理 先扫描下lvm vgscanpvscanlvscan 本篇的场景是lvm没有损坏的情况,如果lvm本身损坏了,那么就是去恢复lvm的问题,本篇的基础是有一个完整的osd的数据盘,也就是磁盘本身是没问题的 查询osd相关的磁盘信息 lvdisplay |grep “LV Path”|grep ceph LV Path /dev/ceph-b748833c-b646-4b1c-a2ef-f50576b0a165/osd-block-38657557-5ce3-43a1-861a-e690c880ddf6 LV Path /dev/ceph-aa2304f1-a098-4990-8f3a-46f176d4cece/osd-block-f8a30c38-48fd-465c-9982-14cd22d00d21 LV Path /dev/ceph-8b987af1-f10a-4c9a-a096-352e63c7ef83/osd-block-07d1c423-8777-4eea-8a1d-34dc06f840ae LV Path /dev/ceph-f39ac1da-2811-4486-8690-4ccfb1e45e18/osd-block-0cb9186e-6512-4582-a30d-9fb4cf03c964 LV Path /dev/ceph-6167d452-a121-4602-836a-ab378cf6eccc/osd-block-2e77e3b5-9d5c-4d5f-bf18-c33ddf0bbc0a 注意osd-block后面的字段,这个信息是会记录在osd dump输出信息的,我们查询下osd-block-38657557-5ce3-43a1-861a-e690c880ddf6这个的信息 [root@node1 ~]# ceph osd dump|grep 38657557-5ce3-43a1-861a-e690c880ddf6osd.31 down in weight 1 up_from 395 up_thru 395 down_at 399 last_clean_interval [391,392) 66.66.66.60:6830/10392 66.66.66.60:6847/10392 66.66.66.60:6875/10392 66.66.66.60:6882/10392 …Read more

  • September 3, 2019
    ceph与flashcache的around模式结合启动问题

    问题 通过对我们的启动流程看了下,目前是穿到一个脚本里面的,然后这个脚本是用无限循环的方式去执行一些事情,这个地方不符合松耦合的设计,一个模块做一个事情,两个并不相关的功能不要嵌入另一个脚本,否则出现问题的时候,不好更改不好优化 解决方式 首先分析ceph自身的启动方式 ceph的启动方式是通过去enable的一个service的方式这个enable会传入参数,osd的id和osd的fsid,这两个都是集群的定值,也就是每个osd的这块都是各自独立的,所以就是一个总控脚本去通过调用参数的方式进行服务的启动和挂载 那么最佳的处理方式应该也是近似处理,我们做结合启动的时候,先禁用相关的服务,这个后面脚本里面内部会处理,我们先写出来怎么禁用ceph的挂载和启动 systemctl stop ceph-osd@$osd_id systemctl disable ceph-osd@$osd_id systemctl disable ceph-volume@lvm-$osd_id-$osd_dev umount /var/lib/ceph/osd/ceph-0/ 上面一个是osd id 一个是fsid fsid可以从ceph osd dump|grep osdid获得 初始部署成功后,机器的上面的磁盘也会打上上面的相关的标签 启动禁止了,开始写我们的启动服务 我们看下原生的服务 [root@lab101 ~]# cat /usr/lib/systemd/system/ceph-volume@.service [Unit] Description=Ceph Volume activation: %i After=local-fs.target Wants=local-fs.target [Service] Type=oneshot KillMode=none Environment=CEPH_VOLUME_TIMEOUT=10000 ExecStart=/bin/sh -c 'timeout $CEPH_VOLUME_TIMEOUT /usr/sbin/ceph-volume-systemd %i' TimeoutSec=0 [Install] WantedBy=multi-user.target 我们写我们自己的服务 [root@lab101 ~]# cat …Read more

  • September 3, 2019
    ceph luminous版本限制osd的内存使用

    引言 ceph自从到了L版本以后,L版本的启用,对性能本身有了极大的提高,一直对这个比较不放心的就是内存的占用,刚开始的时候记得大量dd就可以把内存搞崩掉,这个应该是内部的设计逻辑需要更多的内存的占用 最近在做ARM版本的服务器的测试,机器为36盘位的机器,内存需要自然多,但是36盘位的机器,按之前想法是4G预留,那得需要144G内存了,这个还没有算迁移的时候的内存消耗,而很多时候,我们并不需要速度,只需要稳定就好 测试环境说明 测试环境比较简单,一台36盘位的arm机器,一台X86机器,通过万兆相连,设置集群为副本1,然后再X86上面通过rados命令进行测试 限制前后对比 我们先按默认的来一组测试 用读取命令进行测试 rados -p rbd -t 64 bench 300 seq –run-name 4Mt16···2019-09-03 15:19:20.478841 min lat: 0.188154 max lat: 0.658198 avg lat: 0.227437 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 20 63 5620 5557 1111.24 1124 0.223682 0.227437 21 63 5901 5838 1111.84 1124 …Read more

  • August 21, 2019
    Refreshingly Luminous

    After an almost seven month team effort focusing on our next-generation Rook and Ceph Nautilus-based storage products, we have taken a little bit of time to refresh the releases currently in production. We are pleased to announce the availability of Red Hat Ceph Storage 3.3, our sixteenth RHCS release. Red Hat Ceph Storage 3.3 delivers …Read more

Careers