线性回归
数学建模
service_mesh
intellij-idea
自动控制
用户空间驱动
社区论坛
快速幂算法
swoole
beautifulsoup
WT-VL53L0 L1
jdbc
界面设计
渲染管线
运算符重载
哈夫曼树
网页作业
storageEvent
考博
环境搭建
对象存储
2024/4/12 1:48:50
实录分享 | Alluxio 在网易大数据的应用与优化
欢迎来到【微直播间】，2min纵览大咖观点
本次分享主要包括四个方面：
背景介绍；对象存储场景优化；Impala 引擎适配；通用功能增强。
一、 背景介绍
网易有数大数据基础平台NDH：NDH 是网易对标 Cloudera C…
【小程序】微信云托管对象存储管理
微信云托管对象存储用于存放数据或文件，一般用于较大数据或较大文件上传时的中转对象，避免直接上传到服务端，影响服务性能。
对象存储
开通了云托管平台后会自动开通对象存储功能。简单理解就是一个文件目录即可。
存储文件 文件名称&…
腾讯云下一代CDN -- EdgeOne加速MinIO对象存储
省流
使用MinIO作为EdgeOne的源站。
背景介绍
项目中需要一个兼容S3协议的对象存储服务，腾讯云的COS虽然也兼容S3协议，但是也只是支持简单的上传下载，对于上传的时候同时打标签这种需求，就不兼容S3了。所以决定自建一个对象存储…
利用 Databend + COS助力 CDH 分析 | 某医药集团
作者： 黄志武
某医药集团信息中心数据库组组长，13 年数据库行业从业经历，Oracle OCM，关注 Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris、Databend 等多方面的关键领域技术&#…
数据湖系列之一 | 你一定爱读的极简数据平台史，从数据仓库、数据湖到湖仓一体
1. 写在前面
我们身处一个大数据时代，企业的数据量爆炸式增长。如何应对海量数据存储和处理的挑战，建设好数据平台，对一个企业来说是很关键的问题。从数据仓库、数据湖，到现在的湖仓一体，业界建设数据平台的新方法和新…
Java访问QingCloud青云QingStor对象存储(公有云、私有云)
一、参考API
官网SDK文档参考：Java SDK - 公有云文档中心 (qingcloud.com)
二、环境说明
公有云跟私有云区别： 使用公有云QingStor，直接按照官网sdk直接可对接，私有云QingStor的话，需要设置具体的私有云请求地址及z…
AI 的未来是开源的
想象一下，在未来，人工智能不会被锁在公司的金库里，而是由全球创新者社区一砖一瓦地在开放中构建的。协作，而不是竞争，推动进步，道德考虑与原始绩效同等重要。这不是科幻小说，而是人工智能发展核…
OSS对象存储解决方案
1、minio安装 https://blog.csdn.net/qq_38628046/article/details/107540712
docker常用命令 https://cloud.tencent.com/developer/article/2200911?areaSource102001.4&traceIdTYGtSXt3OTIqfFY0BvBrj
docker run -p 9099:9099 -p 9098:9098 --name minio -v data:/da…
SpringBoot+MINIO
Linux安装MINIO https://blog.csdn.net/tongxin_tongmeng/article/details/133934115 MINIO创建桶MINIO创建秘钥MINIO的API路径 http://your-server-ip:9000
注意：API路径在日志文件中/opt/minio/minio.log pom.xml <!-- https://mvnrepository.com/artifact/com…
MinIO 高性能分布式存储最新版单机与分布式部署
文章目录 一、概述二、单机部署（单主机，多硬盘模式）1）磁盘初始化2）创建服务启动用户并设置磁盘属主3）下载 minio 安装包4）修改配置5）配置 systemctl 启动6）客户端工具 mc…
MinIO客户端之ping
MinIO提供了一个命令行程序mc用于协助用户完成日常的维护、管理类工作。
官方资料
mc ping 检查指定的MinIO节点的服务是否可用。
不带参数，命令如下：
./mc ping local1执行时需要手工停止，控制台的输出，如下： 1: …
百度云对象存储的图片转webp不展示图片的解决方案
前言
百度云对象存储的图片，加上图片处理的参数后（像这种转webp格式的请求https://xxxxxxxx.cn/xxxxxx.jpg?x-bce-processimage/format,f_webp），由于图片过大，导致请求超时了。提交了工单咨询后解决了，特…
天翼云对象存储在跨地域视频存储领域的应用
前言：云计算的目标是让IT资源使用像水、电一样方便、自由。随着云计算技术与理念的快速普及，IT即服务的理念深入人心。“对象存储”（OOS），一种基于互联网的存储基础设施，可以通过Web门户或者应用编程接口对…
EdgeOneToMinIO
省流
使用MinIO作为EdgeOne的源站。
背景介绍
项目中需要一个兼容S3协议的对象存储服务，腾讯云的COS虽然也兼容S3协议，但是也只是支持简单的上传下载，对于上传的时候同时打标签这种需求，就不兼容S3了。所以决定自建一个对象存储…
Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储
Kubernetes集群部署Rook Ceph部署Ceph集群
1. Rook Ceph介绍
Rook Ceph是Rook项目中的一个存储方案，专门针对Ceph存储系统进行了优化和封装。Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供…
阿里云对象存储OSS外网流出流量异常增多导致费用上升的解决方法
本文介绍在使用阿里云的对象存储 OSS服务过程中，外网流量消耗异常增多并导致异常的费用支出这一情况的问题发现、问题定位与几种不同的问题解决方法。 细细数来，写博客已经有近3的历史了，这成为了一项已经陪伴我大半人生的工作；也…
minio升级后访问出错的一个小坑
前言
最近我们的 minio 从 6 升级到最新的 8 时，部分应用的访问 minio 目录代码无效了，也不报错，经过排查调试发现是路径里面的 “/” 导致的问题 minio 6.x 版本
pom 依赖 <dependency><groupId>io.minio</groupId><…
Ed腾讯云下一代CDN -- EdgeOne加速MinIO对象存储
省流
使用MinIO作为EdgeOne的源站。
背景介绍
项目中需要一个兼容S3协议的对象存储服务，腾讯云的COS虽然也兼容S3协议，但是也只是支持简单的上传下载，对于上传的时候同时打标签这种需求，就不兼容S3了。所以决定自建一个对象存储…
对象存储MinIO的简介与部署
转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。 相关文章推荐： 记录一次跨越16个月的minio版本升级与数据迁移 MinIO集群怎么接入Prometheus监控？(上) Mi…
释放数据潜力，为AI应用提速是关键
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，…
首发 | FOSS分布式全闪对象存储系统白皮书
一、 产品概述 1. 当前存储的挑战
随着云计算、物联网、5G、大数据、人工智能等新技术的飞速发展，数据呈现爆发式增长，预计到2025年中国数据量将增长到48.6ZB，超过80%为非结构化数据。
同时，数字经济正在成为我国经济发展的新…
自己搭建minio存储系统
第一步：下载如下两个软件，都是minio官方提供的，也可以自行去官网下载
https://dl.minio.io/server/minio/release/windows-amd64/minio.exe https://dl.min.io/client/mc/release/windows-amd64/mc.exe 第二步：启动服务器&#x…
最全对象存储（云盘）挂载本地主机或服务器
1.对象存储介绍
1.1 分类
分布式存储的应用场景相对于其存储接口，现在流行分为三种: 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，块存储一般…
Spring Boot集成阿里云对象存储OSS
Spring Boot集成阿里云对象存储OSS对象存储OSS产品优势产品功能应用场景环境准备开通对象存储OSS服务创建Bucket创建RAM子用户Spring Boot集成阿里云对象存储OSS引入依赖配置application.properties参数配置对象初始化简单上传下载文件追加上传断点续传分片上传文件管理完整Ali…
热数据存储在HDFS，冷备数据存储于对象存储中
1.场景分析
生产环境均为腾讯云服务器，日志数据计划存储于HDFS中，由于日志数据较大（压缩后1T/天），不断扩充云盘成本消耗大。鉴于对象存储的存储成本较为低廉，但是日常频繁使用会产生流量费用。 鉴于此&…
ceph rados对象存储索引残留问题排查与处理
问题现象
对象存储存储桶无法删除，检查发现生命周期过期后存储桶中有文件残留，未完全删除，但实际访问文件时为404，通过s3cmd无法删除对象，且无报错。
问题定位
检查bucket当前状态，发现桶内有大量object…
MinIO 和 Apache Tika：文本提取模式
Tl;dr:
在这篇文章中，我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取，这是大型语言模型训练和检索增强生成 LLM和RAG 等关键下游任务的核心。
前提
假设我想构建一个文本数据集，然后我可以用它来微调 LLM.为了做…
轻量对象存储 LighthouseCOS 用户实践征文
产品使用攻略、上云技术实践，有奖征集，多重好礼等您带回家～
存储桶一键挂载轻量应用服务器，简单易用，腾讯云轻量对象存储用户实践征文活动特惠：腾讯云轻量云专场特惠活动。 投稿说明
1. 注册/登录腾讯云账…
什么是块存储、文件存储、对象存储？
我们都知道，存储设备就是为数据提供空间。
U盘、硬盘和固态硬盘都是存储最终的存储设备。而块存储、文件存储和对象存储也可以简单地理解是不同类型的存储设备，它们是根据使用介质存储数据的手段或方法不同来划分的。 首先我们来看下块存储：…
亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级
亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级
本篇文章授权活动官方亚马逊云科技文章转发、改写权，包括不限于在 亚马逊云科技开发者社区, 知乎，自媒体平台，第三方开发者媒体等亚马逊云科技官方渠道。 文章目录 亚马逊云科技 re:Inv…
雨云OSS服务介绍和使用教程，以及Chevereto图床使用雨云OSS的教程
雨云OSS（对象存储）服务介绍和使用教程，以及Chevereto图床程序使用雨云OSS的教程
雨云OSS（对象存储）是一种基于S3协议的云端数据存储服务，它可以帮助你将数据安全、高效地存储在云端，并且可以随…
一二三应用开发平台文件处理设计与实现系列之5——MinIO技术预研
背景
上篇介绍了文件读写框架设计与实现，同时顺便说明了本地磁盘存储模式的实现模式。 今天来说下基于文件读写框架，如何集成对象存储组件minio，集成之前，需要对minio进行必要的了解，本篇是minio的技术预研。
minio简…
使用minio实现大文件断点续传
部署 minio 拉取镜像 docker pull minio/minio
docker images新建映射目录 新建下面图片里的俩个目录 data(存放对象-实际的数据) config 存放配置开放对应端口 我使用的是腾讯服务器所以 在腾讯的安全页面开启 9000，9090 两个端口就可以了（根据大家实际…
奥思CTO李明宇：从NAS文件存储转向对象存储是必然
随着科技的发展和网络技术的进步，计算机存储空间显得愈加紧张，大规模的数据增长为文件存储、非结构化数据存储提出了新的挑战。面对这些挑战，对象存储技术将如何帮助企业赢得未来？奥思数据创始人兼CTO 李明宇2016年11月16日&#…
2016首届对象存储技术及应用大会在京成功召开
2016年11月16日，由中国新一代IT产业推进联盟指导、奥思数据和CIO时代网主办的2016首届对象存储技术及应用大会暨奥思数据OStorage-EOS产品发布会在北京丽亭华苑酒店拉开帷幕。本次大会作为对象存储领域开创性的行业大会吸引了国际专家、各大行业用户、科研院所及存储…
MinIO客户端之du
MinIO提供了一个命令行程序mc用于协助用户完成日常的维护、管理类工作。
官方资料
mc du 用于输出桶内对象的数量和占用的空间。 命令如下：
./mc du local1/bkt1控制台的输出，如下：
92MiB 2 objects bkt1增加递归输出的选项--recursive&a…
【项目实践】手把手教你自建高性能对象存储服务器
以项目驱动学习，以实践检验真知 对象存储的应用范围非常广泛，小至图床、文件服务，大至大数据应用。无论是个人还是企业，搭建一个对象存储服务器都是非常有必要的。
国内许多云厂商提供了对象存储服务：阿里 OSS、腾讯 …
minio下载文件速度很慢的原因分析与说明
文章目录1.实战背景2.问题描述3.问题分析4.问题解决1.实战背景
最近在做一个项目，需要用到minio来搭建文件系统，先简单说一下我在项目中设置的上传文件流程：
前端将分块文件逐一传给后端，后端再存储到 linux服务器的minio 当中。…
【golang】动态生成微信小程序二维码实战下：golang 生成 小程序二维码图片 并通过s3协议上传到对象存储桶 | 腾讯云 cos
项目背景
在自研的系统，需要实现类似草料二维码的功能 将我们自己的小程序，通过代码生成相想要的小程序二维码 代码已经上传到 Github 需要的朋友可以自取 https://github.com/ctra-wang/wechat-mini-qrcode 一、生成Qrcode并提交到对象存储
通过源生A…
oss上传图片的图片名和url路径后缀不一致问题分析与说明
文章目录1.问题描述2.问题分析1.问题描述 2.问题分析
oss实际在解析文件名时，会先将传给oss的文件名按做中文字符转为 unicode 值， 因为 % 属于特殊符号，会被 encode 转换成 %25， 号会被encode转换成 %2b 一样的。
我们借助转换…
腾讯云COS - 前端上传文件到 COS 跨域问题
问题描述 原因分析
因为我本地的地址是：http://localhost:9528
而发送请求时的地址是：http://132-1307119153.cos.ap-beijing.myqcloud.com/tu.jpg
域名不同，自然而然就出现了跨域的问题！ 解决方案
先点击对象存储 - 安全设置…
Flutter Provider 使用指南详解
介绍
在Flutter应用程序开发中，状态管理是一个至关重要的方面。随着应用程序的复杂性增加，有效地管理和共享状态变得至关重要。Flutter Provider是一个流行的状态管理解决方案，它提供了一种简单而强大的方式来管理Flutter应用程序中的状态。…
RocketMQ解密：从小白到分布式消息系统大师的进阶之路
欢迎来到本篇博客，我们将一同探索分布式消息系统RocketMQ的原理和使用教程。无需担心，即使你是小白，我们将用亲切的语言和生动的例子一步步解释，让你轻松理解RocketMQ的奥秘。 1. RocketMQ简介
RocketMQ是一款由阿里巴巴开发的分…
Minio入门系列【1】Windows/Linux/K8S单机部署Minio
1 Minio简介
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小&…
阿里云OSS对象存储的核心概念与购买应用
文章目录 1.OSS对象存储基本介绍1.1.OSS对象存储概念1.2.NAS与OSS存储的不同1.3.OSS的应用场景1.4.OSS术语对应表 2.购买OSS存储资源包3.KodCloud云盘接入OSS对象存储3.1.创建Bucket存储空间3.2.创建子用户用于管理Bucket3.3.获取用户的AccessKey3.3.为用户设置权限3.4.将Bucke…
某对象存储元数据集群改造流水账
软件产品：某厂商提供的不便具名的对象存储产品，核心底层技术源自HDFS和Amazon S3，元数据集群采用了基于MongoDB的NOSQL数据库产品和MySQL数据库产品相结合。
该产品的元数据逻辑示意图如下： 业务集群现状：当前第3期建…
阿里云对象存储上传文件
1、登录阿里云官网 阿里云-上云就上阿里云
2、点击产品，找到对象存储OSS，点击进去 3、如果首次使用，下面可能显示立即购买或者折扣套餐，点击进去购买。如果已经购买，则跳到第5步 4、使用默认选项即可，购买…
个人向非企业，基于目前主流图床的选购指南
1. 为什么需要搭建自己的图床
最近研究了一下国内外比较主流的图床与对象存储，因为个人写作更加偏向于使用Markdown，而国内很多平台如掘金，简书，csdn等等网站都做了相关的防盗链，即使是我为作者本人，想取用…
Minio入门系列【6】JAVA集成Minio之对象操作API使用详解
1 上传对象
1.1 PutObject
调用PutObject接口上传文件（Object）
public ObjectWriteResponse putObject(PutObjectArgs args)注意事项： 添加的Object大小不能超过5 GB。 默认情况下，如果已存在同名Object且对该Object有访问权限…
COS配置CDN及防盗刷方案
文章目录 前言防护方案基础防护方案修改存储桶的访问权限开启存储桶防盗链，[防盗链官方详细解释](https://cloud.tencent.com/document/product/436/6226)配置云监控告警 进阶防护方案1.进入cdn控制台 https://console.cloud.tencent.com/cdn/domains2.添加域名3.填…
Minio入门系列【7】Spring Boot集成Minio
1 前言
之前介绍了如何使用Minio提供的JAVA SDK进行上传和下载文件，在此基础上，我们可以使用spring boot集成Minio JAVA SDK，添加自动配置、装配、客户端管理等功能，简化开发
2 Spring Boot集成Minio
2.1 环境搭建
首先我们搭…