2026/9/8 21:19:48
FEATURED · 精选文章 
rclone Storj 后端实战原生协议接入去中心化对象存储的配置、使用与源码解析【免费下载链接】rclonersync for cloud storage - Google Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Wasabi, Google Cloud Storage, Azure Blob, Azure Files, Yandex Files项目地址: https://gitcode.com/GitHub_Trending/rc/rclonerclone 自 v1.52 起内置了 Storj别名tardigrade原生后端可直接通过原生 RPC 协议连接去中心化云存储享受客户端加密与更优的下载性能。本文基于官方文档与backend/storj源码完整覆盖两种接入方式Access Grant / API Key Passphrase的配置流程、全部标准与高级选项、日常 Bucket/对象操作命令、功能限制与too many open files等已知问题的排查方法并结合 fs.go 与 object.go 的实现细节剖析其上传、列表、移动/复制与公开链接的底层机制。Storj 是什么rclone 提供了几条接入路径Storj 是一个去中心化的对象存储服务数据被客户端加密、纠删编码后分散存储在大量节点上。对 rclone 而言访问 Storj 有两条路径原生storj后端本文主体使用原生 RPC 协议直连存储节点具备客户端加密、下载性能最好S3 后端 Storj S3 兼容网关provider 为Storj走 S3 兼容 HTTP REST API上传负载更低、但加密密钥需交给网关保管。两者取舍的核心事实引自官方文档维度Storj 原生后端S3 网关后端协议原生 RPC直连存储节点S3 兼容 HTTP REST API共享网关典型场景资源充足、网速快的服务器/桌面需要客户端加密的应用资源、带宽有限的桌面设备等安全性强。私钥不离开本地机器较弱。加密密钥与托管网关共享网关侧加密保存可叠加 crypt 后端 加强上传带宽高。客户端本地纠删编码原始数据与奇偶块都要上传约 2.7 倍放大1GB 文件实际上传约 2.68GB客户端初期可能连更多节点约 3.7 倍后放弃慢速节点正常。只上传原始数据纠删编码发生在网关下载带宽接近正常。只取最小必要分片但会多连几个源以剔除慢节点最多 1.2 倍开销正常。只下载原始数据CPU更高但更可预测本地编码/加解密更低网关代劳但取决于网关负载TCP 连接数高。每个 64 MiB 分段上传需 110 条、下载需 35 条连接并非全部活跃慢连接会被裁剪但都会建立必要时需调高文件打开数上限正常。每个上传/下载线程对网关一条连接综合性能资源充足时可提供约 2 倍更好的性能数据不经过网关边缘设备上可能更快去中心化程度高数据直接来自分布式节点云低依赖自托管或 Storj 托管的 S3 网关限制rclone checksum必须下载后计算上传时不产生校验和元数据加密密钥与网关共享一句话选型建议服务器端大规模同步、或对密钥永不出本机有要求时用原生后端带宽紧张的低配设备、以网关吞吐为瓶颈时考虑 S3 网关路径。后端能力与实现边界源码视角从源码结构看该后端基于storj.io/uplinkGo SDKgo.mod 中锁定为storj.io/uplink v1.14.3注册信息见 fs.go//go:build !plan9 // Package storj provides an interface to Storj decentralized object storage. package storj fs.Register(fs.RegInfo{ Name: storj, Description: Storj Decentralized Cloud Storage, Aliases: []string{tardigrade}, NewFs: NewFs, ... })几个值得注意的实现边界平台限制fs.go、object.go 与 storj_test.go 均带//go:build !plan9构建标签配套的 storj_unsupported.go 仅为 plan9 提供空包声明——即 plan9 上该后端不可用。接口能力fs.go 通过接口断言声明实现了fs.Fs、fs.ListR高效递归列表、fs.PutStreamer流式上传、fs.Mover、fs.Copier服务端移动/复制、fs.Purger、fs.PublicLinker公开链接。不支持哈希Hashes()返回空集合fs.goobject.go 中Hash()恒返回hash.ErrUnsupported——这就是checksum 必须下载后计算限制的代码根源。路径规范化absolute()会对 bucket 名与对象 key 做 NFC 归一化fs.go保证同一逻辑路径的不同 Unicode 表示指向同一对象Fs.String()以sj://作为 scheme 前缀。修改时间上传时以自定义元数据rclone:mtimeRFC3339Nano 格式保存 mtimefs.go读取时优先解析该元数据失败则回退到服务端System.Createdobject.goSetModTime直接返回fs.ErrorCantSetModTimeobject.go即不支持单独 touch 修改时间。下载支持 Range/SeekObject.Open将 rclone 的RangeOption/SeekOption转换为 uplink 的Offset/Length参数object.go支持分段读取。集成测试storj_test.go 通过fstests.Run以TestStorj:远端跑 rclone 标准后端集成测试套件覆盖了通用后端的文件/目录/权限等操作契约。配置两种认证方式配置 Storj 远端需要二者之一别人共享给你的Access Grant你所在 Storj 项目API Key配合 satellite 地址与加密口令。运行rclone config进入交互式向导选择n新建远端并选择storj类型rclone config方式一使用现成的 Access GrantNo remotes found, make a new one? n) New remote s) Set configuration password q) Quit config n/s/q n name remote Type of storage to configure. Enter a string value. Press Enter for the default (). Choose a number from below, or type in your own value [snip] XX / Storj Decentralized Cloud Storage \ storj [snip] Storage storj ** See help for storj backend at: https://rclone.org/storj/ ** Choose an authentication method. Enter a string value. Press Enter for the default (existing). Choose a number from below, or type in your own value 1 / Use an existing access grant. \ existing 2 / Create a new access grant from satellite address, API key, and passphrase. \ new provider existing Access Grant. Enter a string value. Press Enter for the default (). access_grant your-access-grant-received-by-someone-else Remote config Configuration complete. Options: - type: storj - access_grant: your-access-grant-received-by-someone-else Keep this remote remote? y) Yes this is OK (default) e) Edit this remote d) Delete this remote y/e/d y方式二API Key Passphrase 现生成 Access Grant...前面同上选择 storj 后... Choose an authentication method. Enter a string value. Press Enter for the default (existing). Choose a number from below, or type in your own value 1 / Use an existing access grant. \ existing 2 / Create a new access grant from satellite address, API key, and passphrase. \ new provider new Satellite Address. Custom satellite address should match the format: nodeidaddress:port. Enter a string value. Press Enter for the default (us1.storj.io). Choose a number from below, or type in your own value 1 / US1 \ us1.storj.io 2 / EU1 \ eu1.storj.io 3 / AP1 \ ap1.storj.io satellite_address 1 API Key. Enter a string value. Press Enter for the default (). api_key your-api-key-for-your-storj-project Encryption Passphrase. To access existing objects enter passphrase used for uploading. Enter a string value. Press Enter for the default (). passphrase your-human-readable-encryption-passphrase Remote config Configuration complete. Options: - type: storj - satellite_address: 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3Sus1.storj.io:7777 - api_key: your-api-key-for-your-storj-project - passphrase: your-human-readable-encryption-passphrase - access_grant: the-access-grant-generated-from-the-api-key-and-passphrase Keep this remote remote? y) Yes this is OK (default) e) Edit this remote d) Delete this remote y/e/d y源码印证了两个细节三个官方 satellite 快捷入口映射为带节点 ID 的完整地址fs.govar satMap map[string]string{ us1.storj.io: 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3Sus1.storj.io:7777, eu1.storj.io: 12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDseu1.storj.io:7777, ap1.storj.io: 121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6ap1.storj.io:7777, }配置向导阶段RegInfo.Config回调会在providernew时用uplink.RequestAccessWithPassphrase生成 Access Grant 并序列化回写到access_grant键选择existing时则主动删除satellite_address/api_key/passphrase三个键避免遗留敏感信息fs.go。即使不走向导NewFs也保留了相同的兜底逻辑当配置里同时存在 satellite api_key passphrase 而缺access_grant时会在初始化时生成并通过config.SetValueAndSave持久化fs.go。配置选项详解标准选项以下选项由fs.RegInfo自动生成文档见 fs.go每项均支持对应的RCLONE_STORJ_*环境变量便于在 CI/脚本中免交互配置。--storj-provider选择认证方式。Config 键provider环境变量RCLONE_STORJ_PROVIDER类型string默认existing取值existing— 使用已有的 access grantnew— 从 satellite 地址、API key 和 passphrase 创建新的 access grant。--storj-access-grantAccess grant仅providerexisting时生效。Config 键access_grant环境变量RCLONE_STORJ_ACCESS_GRANT类型string非必填敏感项源码中标记Sensitive: true。--storj-satellite-addressSatellite 地址仅providernew时生效。自定义地址格式必须为nodeidaddress:portConfig 键satellite_address环境变量RCLONE_STORJ_SATELLITE_ADDRESS类型string默认us1.storj.io示例值us1.storj.ioUS1、eu1.storj.ioEU1、ap1.storj.ioAP1。--storj-api-keyAPI key仅providernew时生效。Config 键api_key环境变量RCLONE_STORJ_API_KEYstring非必填敏感项。--storj-passphrase加密口令仅providernew时生效。要访问已有对象必须填与上传时相同的 passphrase——口令直接参与对象加密密钥派生填错等于密钥丢失。Config 键passphrase环境变量RCLONE_STORJ_PASSPHRASEstring非必填敏感项。高级选项--storj-description远端描述。Config 键description环境变量RCLONE_STORJ_DESCRIPTIONstring非必填。日常操作命令路径写法为remote:bucket对lsf命令可省略 bucket即remote:也支持子目录如remote:bucket/path/to/dir。创建 / 列出 / 删除 Bucket# 创建 bucket rclone mkdir remote:bucket # 列出所有 bucket注意结尾的冒号 rclone lsf remote: # 删除空 bucket rclone rmdir remote:bucket # 连同内容删除非空 bucket rclone purge remote:bucket源码对应关系mkdir调用project.EnsureBucket幂等已存在不报错fs.gormdir先StatObject判断是否为对象再按前缀列举确认目录是否为空非空返回fs.ErrorDirectoryNotEmptyfs.gopurge对整桶走DeleteBucketWithObjects的快速路径桶内子目录则回退为递归列举 逐个删除fs.go。上传对象# 上传单个文件--progress 用于显示进度不需要可去掉 rclone copy --progress /home/local/directory/file.ext remote:bucket/path/to/dir/ # 上传整个目录 rclone copy --progress /home/local/directory/ remote:bucket/path/to/dir/只会拷贝有改动的文件。两个上传行为值得注意自动建桶rclone 的契约是后端应自动创建缺失的 bucket。storj 后端在上传遇到ErrBucketNotFound时调用EnsureBucket建桶并返回fserrors.RetryError由 rclone 触发重试完成上传fs.go。限流自适配Storj 对同一文件的上传有每秒 1 次的限制后端捕获ErrTooManyRequests后 sleep 1 秒再重试fs.go避免批量小文件场景下的 429 风暴。列出对象# 递归列出 bucket 内所有对象 rclone ls remote:bucket # 非递归列出某目录 rclone lsf remote:bucket/path/to/dir/列表实现上List/ListR均通过uplink.ListObjectsOptions带System: true, Custom: true以拿到 mtime 元数据迭代ListR的递归列举对每个 bucket 只发一次Recursive: true请求优于逐目录遍历fs.go。目录前缀统一由newPrefix补上尾随斜杠以满足 uplink 的列举约定fs.go。下载对象# 下载单个对象 rclone copy --progress remote:bucket/path/to/dir/file.ext /home/local/directory/ # 下载整个目录 rclone copy --progress remote:bucket/path/to/dir/ /home/local/directory/Object.Open支持Range/Seekrclone 的读分片如--buffer-size分块读取、head式探测可以直接映射到 uplink 的Offset/Lengthobject.go。删除对象# 删除单个对象 rclone deletefile remote:bucket/path/to/dir/file.ext # 删除目录下所有对象 rclone delete remote:bucket/path/to/dir/统计大小rclone size remote:bucket/path/to/dir/同步syncsync将源同步到目标只改动目标端并删除多余文件# 本地 - Storj rclone sync --interactive --progress /home/local/directory/ remote:bucket/path/to/dir/ # Storj - 本地 rclone sync --interactive --progress remote:bucket/path/to/dir/ /home/local/directory/ # 两个 Storj bucket 之间 rclone sync --interactive --progress remote-us:bucket/path/to/dir/ remote-europe:bucket/path/to/dir/ # 其他云存储 - Storj rclone sync --interactive --progress s3:bucket/path/to/dir/ storj:bucket/path/to/dir/由于 sync 可能删数据建议先用--dry-run验证。另因 mtime 存于rclone:mtime自定义元数据而非服务端字段跨后端同步时若对端无法提供哈希建议配合--size-only或--checksum判定变更减少不必要的重传。服务端移动 / 复制与公开链接moveto/copyto在同为 storj 远端时走服务端project.MoveObject/project.CopyObject目标 bucket 不存在时先EnsureBucket再重试一次fs.go——无需本地下载再上传。rclone link可用PublicLink校验路径存在后用access.Share生成只读可按expire设置过期时间的共享凭证再向 edge 服务注册并拼出https://link.storjshare.io形式的公开链接fs.go。功能限制rclone about不受支持该后端无法查询剩余空间因此rclone mount的容量显示受限也不能作为union远端成员使用mfsmost free space策略。checksum 需下载上传阶段不计算/存储校验和元数据Hashes()为空rclone checksum只能以下载后本地计算的方式完成。不能单独修改 mtimeSetModTime返回不支持mtime 仅在上传时随rclone:mtime元数据写入。plan9 平台不可用构建标签!plan9。已知问题too many open files出现too many open files类报错通常是因为默认ulimit打开文件数上限被打满。Storj 原生协议会打开大量 TCP 连接每个连接计为一个打开文件单条上传流约打开110条 TCP 连接单条下载流约35条上述连接按每64 MiB分段成批建立会复用但会先全部打开大量传输后客户端会与大多数存储节点数千个各建一条连接。修复方式是提高系统限制。临时方案运行 rclone 前执行ulimit -n 65536更持久的做法是写入 shell 启动脚本如$HOME/.bashrc或修改系统级配置通常是/etc/sysctl.conf和/或/etc/security/limits.conf具体请参考操作系统手册。与 S3 网关路径的对照备忘如果你改用 S3 后端接入 Storj 网关provider 为Storjendpoint 可选 EU1/US1/AP1 三个共享网关之一需知晓其特有约束避免莫名其妙的失败--chunk-size被强制为 64 MiB 以上比默认 5 MiB 更吃内存服务端复制被禁用网关当前不支持GetTier/SetTier 不支持网关 multipart 上传会丢失元数据mtime、MD5 均不保存导致rclone rcat失败、rclone mount写文件失败、rclone sync反复重传大于上传阈值的文件通用规避手段是设置--s3-upload-cutoff 5G或配置文件upload_cutoff 5G或对大文件同步改用--checksum/--size-only。选型口诀与官方文档一致要客户端加密、追求下载极限性能用原生storj后端设备资源/带宽受限、以网关代劳加解密与编码用 S3 网关路径。延伸阅读仓库内路径后端实现backend/storj/fs.go注册、配置回调、Bucket/对象操作、backend/storj/object.goOpen/Update/Remove 与 mtime 元数据平台占位backend/storj/storj_unsupported.go集成测试backend/storj/storj_test.go对接fstests标准套件远端名TestStorj:S3 网关配置与 quirksdocs/content/s3.md### Storj 小节文档自动生成标注选项文档由fs.RegInfo生成修改选项后运行make backenddocs校验见 docs/content/storj.md 中的 autogenerated 标记【免费下载链接】rclonersync for cloud storage - Google Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Wasabi, Google Cloud Storage, Azure Blob, Azure Files, Yandex Files项目地址: https://gitcode.com/GitHub_Trending/rc/rclone创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
rclone Storj 后端实战：原生协议接入去中心化对象存储的配置、使用与源码解析
rclone Storj 后端实战原生协议接入去中心化对象存储的配置、使用与源码解析【免费下载链接】rclonersync for cloud storage - Google Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Wasabi, Google Cloud Storage, Azure Blob, Azure Files, Yandex Files项目地址: https://gitcode.com/GitHub_Trending/rc/rclonerclone 自 v1.52 起内置了 Storj别名tardigrade原生后端可直接通过原生 RPC 协议连接去中心化云存储享受客户端加密与更优的下载性能。本文基于官方文档与backend/storj源码完整覆盖两种接入方式Access Grant / API Key Passphrase的配置流程、全部标准与高级选项、日常 Bucket/对象操作命令、功能限制与too many open files等已知问题的排查方法并结合 fs.go 与 object.go 的实现细节剖析其上传、列表、移动/复制与公开链接的底层机制。Storj 是什么rclone 提供了几条接入路径Storj 是一个去中心化的对象存储服务数据被客户端加密、纠删编码后分散存储在大量节点上。对 rclone 而言访问 Storj 有两条路径原生storj后端本文主体使用原生 RPC 协议直连存储节点具备客户端加密、下载性能最好S3 后端 Storj S3 兼容网关provider 为Storj走 S3 兼容 HTTP REST API上传负载更低、但加密密钥需交给网关保管。两者取舍的核心事实引自官方文档维度Storj 原生后端S3 网关后端协议原生 RPC直连存储节点S3 兼容 HTTP REST API共享网关典型场景资源充足、网速快的服务器/桌面需要客户端加密的应用资源、带宽有限的桌面设备等安全性强。私钥不离开本地机器较弱。加密密钥与托管网关共享网关侧加密保存可叠加 crypt 后端 加强上传带宽高。客户端本地纠删编码原始数据与奇偶块都要上传约 2.7 倍放大1GB 文件实际上传约 2.68GB客户端初期可能连更多节点约 3.7 倍后放弃慢速节点正常。只上传原始数据纠删编码发生在网关下载带宽接近正常。只取最小必要分片但会多连几个源以剔除慢节点最多 1.2 倍开销正常。只下载原始数据CPU更高但更可预测本地编码/加解密更低网关代劳但取决于网关负载TCP 连接数高。每个 64 MiB 分段上传需 110 条、下载需 35 条连接并非全部活跃慢连接会被裁剪但都会建立必要时需调高文件打开数上限正常。每个上传/下载线程对网关一条连接综合性能资源充足时可提供约 2 倍更好的性能数据不经过网关边缘设备上可能更快去中心化程度高数据直接来自分布式节点云低依赖自托管或 Storj 托管的 S3 网关限制rclone checksum必须下载后计算上传时不产生校验和元数据加密密钥与网关共享一句话选型建议服务器端大规模同步、或对密钥永不出本机有要求时用原生后端带宽紧张的低配设备、以网关吞吐为瓶颈时考虑 S3 网关路径。后端能力与实现边界源码视角从源码结构看该后端基于storj.io/uplinkGo SDKgo.mod 中锁定为storj.io/uplink v1.14.3注册信息见 fs.go//go:build !plan9 // Package storj provides an interface to Storj decentralized object storage. package storj fs.Register(fs.RegInfo{ Name: storj, Description: Storj Decentralized Cloud Storage, Aliases: []string{tardigrade}, NewFs: NewFs, ... })几个值得注意的实现边界平台限制fs.go、object.go 与 storj_test.go 均带//go:build !plan9构建标签配套的 storj_unsupported.go 仅为 plan9 提供空包声明——即 plan9 上该后端不可用。接口能力fs.go 通过接口断言声明实现了fs.Fs、fs.ListR高效递归列表、fs.PutStreamer流式上传、fs.Mover、fs.Copier服务端移动/复制、fs.Purger、fs.PublicLinker公开链接。不支持哈希Hashes()返回空集合fs.goobject.go 中Hash()恒返回hash.ErrUnsupported——这就是checksum 必须下载后计算限制的代码根源。路径规范化absolute()会对 bucket 名与对象 key 做 NFC 归一化fs.go保证同一逻辑路径的不同 Unicode 表示指向同一对象Fs.String()以sj://作为 scheme 前缀。修改时间上传时以自定义元数据rclone:mtimeRFC3339Nano 格式保存 mtimefs.go读取时优先解析该元数据失败则回退到服务端System.Createdobject.goSetModTime直接返回fs.ErrorCantSetModTimeobject.go即不支持单独 touch 修改时间。下载支持 Range/SeekObject.Open将 rclone 的RangeOption/SeekOption转换为 uplink 的Offset/Length参数object.go支持分段读取。集成测试storj_test.go 通过fstests.Run以TestStorj:远端跑 rclone 标准后端集成测试套件覆盖了通用后端的文件/目录/权限等操作契约。配置两种认证方式配置 Storj 远端需要二者之一别人共享给你的Access Grant你所在 Storj 项目API Key配合 satellite 地址与加密口令。运行rclone config进入交互式向导选择n新建远端并选择storj类型rclone config方式一使用现成的 Access GrantNo remotes found, make a new one? n) New remote s) Set configuration password q) Quit config n/s/q n name remote Type of storage to configure. Enter a string value. Press Enter for the default (). Choose a number from below, or type in your own value [snip] XX / Storj Decentralized Cloud Storage \ storj [snip] Storage storj ** See help for storj backend at: https://rclone.org/storj/ ** Choose an authentication method. Enter a string value. Press Enter for the default (existing). Choose a number from below, or type in your own value 1 / Use an existing access grant. \ existing 2 / Create a new access grant from satellite address, API key, and passphrase. \ new provider existing Access Grant. Enter a string value. Press Enter for the default (). access_grant your-access-grant-received-by-someone-else Remote config Configuration complete. Options: - type: storj - access_grant: your-access-grant-received-by-someone-else Keep this remote remote? y) Yes this is OK (default) e) Edit this remote d) Delete this remote y/e/d y方式二API Key Passphrase 现生成 Access Grant...前面同上选择 storj 后... Choose an authentication method. Enter a string value. Press Enter for the default (existing). Choose a number from below, or type in your own value 1 / Use an existing access grant. \ existing 2 / Create a new access grant from satellite address, API key, and passphrase. \ new provider new Satellite Address. Custom satellite address should match the format: nodeidaddress:port. Enter a string value. Press Enter for the default (us1.storj.io). Choose a number from below, or type in your own value 1 / US1 \ us1.storj.io 2 / EU1 \ eu1.storj.io 3 / AP1 \ ap1.storj.io satellite_address 1 API Key. Enter a string value. Press Enter for the default (). api_key your-api-key-for-your-storj-project Encryption Passphrase. To access existing objects enter passphrase used for uploading. Enter a string value. Press Enter for the default (). passphrase your-human-readable-encryption-passphrase Remote config Configuration complete. Options: - type: storj - satellite_address: 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3Sus1.storj.io:7777 - api_key: your-api-key-for-your-storj-project - passphrase: your-human-readable-encryption-passphrase - access_grant: the-access-grant-generated-from-the-api-key-and-passphrase Keep this remote remote? y) Yes this is OK (default) e) Edit this remote d) Delete this remote y/e/d y源码印证了两个细节三个官方 satellite 快捷入口映射为带节点 ID 的完整地址fs.govar satMap map[string]string{ us1.storj.io: 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3Sus1.storj.io:7777, eu1.storj.io: 12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDseu1.storj.io:7777, ap1.storj.io: 121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6ap1.storj.io:7777, }配置向导阶段RegInfo.Config回调会在providernew时用uplink.RequestAccessWithPassphrase生成 Access Grant 并序列化回写到access_grant键选择existing时则主动删除satellite_address/api_key/passphrase三个键避免遗留敏感信息fs.go。即使不走向导NewFs也保留了相同的兜底逻辑当配置里同时存在 satellite api_key passphrase 而缺access_grant时会在初始化时生成并通过config.SetValueAndSave持久化fs.go。配置选项详解标准选项以下选项由fs.RegInfo自动生成文档见 fs.go每项均支持对应的RCLONE_STORJ_*环境变量便于在 CI/脚本中免交互配置。--storj-provider选择认证方式。Config 键provider环境变量RCLONE_STORJ_PROVIDER类型string默认existing取值existing— 使用已有的 access grantnew— 从 satellite 地址、API key 和 passphrase 创建新的 access grant。--storj-access-grantAccess grant仅providerexisting时生效。Config 键access_grant环境变量RCLONE_STORJ_ACCESS_GRANT类型string非必填敏感项源码中标记Sensitive: true。--storj-satellite-addressSatellite 地址仅providernew时生效。自定义地址格式必须为nodeidaddress:portConfig 键satellite_address环境变量RCLONE_STORJ_SATELLITE_ADDRESS类型string默认us1.storj.io示例值us1.storj.ioUS1、eu1.storj.ioEU1、ap1.storj.ioAP1。--storj-api-keyAPI key仅providernew时生效。Config 键api_key环境变量RCLONE_STORJ_API_KEYstring非必填敏感项。--storj-passphrase加密口令仅providernew时生效。要访问已有对象必须填与上传时相同的 passphrase——口令直接参与对象加密密钥派生填错等于密钥丢失。Config 键passphrase环境变量RCLONE_STORJ_PASSPHRASEstring非必填敏感项。高级选项--storj-description远端描述。Config 键description环境变量RCLONE_STORJ_DESCRIPTIONstring非必填。日常操作命令路径写法为remote:bucket对lsf命令可省略 bucket即remote:也支持子目录如remote:bucket/path/to/dir。创建 / 列出 / 删除 Bucket# 创建 bucket rclone mkdir remote:bucket # 列出所有 bucket注意结尾的冒号 rclone lsf remote: # 删除空 bucket rclone rmdir remote:bucket # 连同内容删除非空 bucket rclone purge remote:bucket源码对应关系mkdir调用project.EnsureBucket幂等已存在不报错fs.gormdir先StatObject判断是否为对象再按前缀列举确认目录是否为空非空返回fs.ErrorDirectoryNotEmptyfs.gopurge对整桶走DeleteBucketWithObjects的快速路径桶内子目录则回退为递归列举 逐个删除fs.go。上传对象# 上传单个文件--progress 用于显示进度不需要可去掉 rclone copy --progress /home/local/directory/file.ext remote:bucket/path/to/dir/ # 上传整个目录 rclone copy --progress /home/local/directory/ remote:bucket/path/to/dir/只会拷贝有改动的文件。两个上传行为值得注意自动建桶rclone 的契约是后端应自动创建缺失的 bucket。storj 后端在上传遇到ErrBucketNotFound时调用EnsureBucket建桶并返回fserrors.RetryError由 rclone 触发重试完成上传fs.go。限流自适配Storj 对同一文件的上传有每秒 1 次的限制后端捕获ErrTooManyRequests后 sleep 1 秒再重试fs.go避免批量小文件场景下的 429 风暴。列出对象# 递归列出 bucket 内所有对象 rclone ls remote:bucket # 非递归列出某目录 rclone lsf remote:bucket/path/to/dir/列表实现上List/ListR均通过uplink.ListObjectsOptions带System: true, Custom: true以拿到 mtime 元数据迭代ListR的递归列举对每个 bucket 只发一次Recursive: true请求优于逐目录遍历fs.go。目录前缀统一由newPrefix补上尾随斜杠以满足 uplink 的列举约定fs.go。下载对象# 下载单个对象 rclone copy --progress remote:bucket/path/to/dir/file.ext /home/local/directory/ # 下载整个目录 rclone copy --progress remote:bucket/path/to/dir/ /home/local/directory/Object.Open支持Range/Seekrclone 的读分片如--buffer-size分块读取、head式探测可以直接映射到 uplink 的Offset/Lengthobject.go。删除对象# 删除单个对象 rclone deletefile remote:bucket/path/to/dir/file.ext # 删除目录下所有对象 rclone delete remote:bucket/path/to/dir/统计大小rclone size remote:bucket/path/to/dir/同步syncsync将源同步到目标只改动目标端并删除多余文件# 本地 - Storj rclone sync --interactive --progress /home/local/directory/ remote:bucket/path/to/dir/ # Storj - 本地 rclone sync --interactive --progress remote:bucket/path/to/dir/ /home/local/directory/ # 两个 Storj bucket 之间 rclone sync --interactive --progress remote-us:bucket/path/to/dir/ remote-europe:bucket/path/to/dir/ # 其他云存储 - Storj rclone sync --interactive --progress s3:bucket/path/to/dir/ storj:bucket/path/to/dir/由于 sync 可能删数据建议先用--dry-run验证。另因 mtime 存于rclone:mtime自定义元数据而非服务端字段跨后端同步时若对端无法提供哈希建议配合--size-only或--checksum判定变更减少不必要的重传。服务端移动 / 复制与公开链接moveto/copyto在同为 storj 远端时走服务端project.MoveObject/project.CopyObject目标 bucket 不存在时先EnsureBucket再重试一次fs.go——无需本地下载再上传。rclone link可用PublicLink校验路径存在后用access.Share生成只读可按expire设置过期时间的共享凭证再向 edge 服务注册并拼出https://link.storjshare.io形式的公开链接fs.go。功能限制rclone about不受支持该后端无法查询剩余空间因此rclone mount的容量显示受限也不能作为union远端成员使用mfsmost free space策略。checksum 需下载上传阶段不计算/存储校验和元数据Hashes()为空rclone checksum只能以下载后本地计算的方式完成。不能单独修改 mtimeSetModTime返回不支持mtime 仅在上传时随rclone:mtime元数据写入。plan9 平台不可用构建标签!plan9。已知问题too many open files出现too many open files类报错通常是因为默认ulimit打开文件数上限被打满。Storj 原生协议会打开大量 TCP 连接每个连接计为一个打开文件单条上传流约打开110条 TCP 连接单条下载流约35条上述连接按每64 MiB分段成批建立会复用但会先全部打开大量传输后客户端会与大多数存储节点数千个各建一条连接。修复方式是提高系统限制。临时方案运行 rclone 前执行ulimit -n 65536更持久的做法是写入 shell 启动脚本如$HOME/.bashrc或修改系统级配置通常是/etc/sysctl.conf和/或/etc/security/limits.conf具体请参考操作系统手册。与 S3 网关路径的对照备忘如果你改用 S3 后端接入 Storj 网关provider 为Storjendpoint 可选 EU1/US1/AP1 三个共享网关之一需知晓其特有约束避免莫名其妙的失败--chunk-size被强制为 64 MiB 以上比默认 5 MiB 更吃内存服务端复制被禁用网关当前不支持GetTier/SetTier 不支持网关 multipart 上传会丢失元数据mtime、MD5 均不保存导致rclone rcat失败、rclone mount写文件失败、rclone sync反复重传大于上传阈值的文件通用规避手段是设置--s3-upload-cutoff 5G或配置文件upload_cutoff 5G或对大文件同步改用--checksum/--size-only。选型口诀与官方文档一致要客户端加密、追求下载极限性能用原生storj后端设备资源/带宽受限、以网关代劳加解密与编码用 S3 网关路径。延伸阅读仓库内路径后端实现backend/storj/fs.go注册、配置回调、Bucket/对象操作、backend/storj/object.goOpen/Update/Remove 与 mtime 元数据平台占位backend/storj/storj_unsupported.go集成测试backend/storj/storj_test.go对接fstests标准套件远端名TestStorj:S3 网关配置与 quirksdocs/content/s3.md### Storj 小节文档自动生成标注选项文档由fs.RegInfo生成修改选项后运行make backenddocs校验见 docs/content/storj.md 中的 autogenerated 标记【免费下载链接】rclonersync for cloud storage - Google Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Wasabi, Google Cloud Storage, Azure Blob, Azure Files, Yandex Files项目地址: https://gitcode.com/GitHub_Trending/rc/rclone创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
