Qiniu kodo by SunRunAway · Pull Request #2 · litianqi1996/alluxio

SunRunAway · 2018-09-26T07:11:05Z

No description provided.

merge last

Signed-off-by: litianqi <litianqi@qiniu.com>

Boxie5 · 2018-09-30T06:19:35Z

@@ -0,0 +1,10 @@
+alluxio.master.hostname=localhost


这个不要进 PR

Boxie5 · 2018-09-30T06:20:41Z

 import java.util.function.Supplier;
 import java.util.regex.Matcher;
 import java.util.regex.Pattern;
-


这个里面的空行去掉不合理

Boxie5 · 2018-09-30T06:22:50Z

    public static final String UNDERFS_S3_UPLOAD_THREADS_MAX =
        "alluxio.underfs.s3.upload.threads.max";
+    public static final String UNDERFS_KODO_CONNECT_TIMEOUT = "alluxio.underfs.kodo.connect.timeout";
+    public static final String UNDERFS_KODO_REQUESTS_MAX = "alluxio.undergs.kodo.requests.max";


拼写错误， undergs -> underfs

Boxie5 · 2018-09-30T06:34:13Z

@@ -0,0 +1,97 @@
+---
+layout: global
+title: 在KODO上配置Alluxio


文档里面好像有些地方英文单词有空格有些又没有？

Boxie5 · 2018-09-30T06:42:51Z

+
+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)
+
+另外，为了在 KODO 上使用 Alluxio，需要创建一个bucket（或者使用一个已有的bucket）。还要注意在该bucket里使用的目录，可以在该bucket中新建一个目录，或者使用一个存在的目录。在该指南中，Kodo bucket的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY。要使用七牛对象存储服务，需要提供一个可供识别指定 bucket 的域名，本向导中为 KODO_Source_Host。


KODO_Source_Host KODO_DIRECTORY 这个命名规则好像不一致？

第12行，建议添加括号：七牛云对象存储（Kodo）

Boxie5 · 2018-09-30T07:34:32Z

+    try {
+      return new KodoInputStream(key, mKodoClinet, options.getOffset());
+    } catch (Exception e) {
+


Boxie5 · 2018-09-30T07:34:52Z

+    final private String mprefix;
+    private FileListing mResult;
+
+


空行冗余

Boxie5 · 2018-09-30T07:35:10Z

+
+
+  private final class KodoObjectListingChunk implements ObjectListingChunk {
+    final int mlimit;


命名不是驼峰？

Boxie5 · 2018-09-30T07:35:30Z

+
+    @Override
+    public ObjectStatus[] getObjectStatuses() {
+


Boxie5 · 2018-09-30T07:38:05Z

    request.setPrefix(key);
    request.setMaxKeys(getListingChunkLength());
    request.setDelimiter(delimiter);
-


不要动其他厂商的代码吧

fllow maven check Style

merge lasted

* 'master' of github.com:litianqi1996/alluxio: (41 commits) Update Configuring-Alluxio-with-OBS.md [ALLUXIO-3333]Support cluster startup monitoring for job service (Alluxio#7915) fixDuplicate (Alluxio#7914) [ALLUXIO-3327] Initial implementation of job management service (Alluxio#7910) Bump released version to 1.8.1 (Alluxio#7911) [ALLUXIO-2231] support allow_other/allow_root Fuse mount options (Alluxio#7900) Use cached threadpools for masters (Alluxio#7908) Clean up some error messages. (Alluxio#7902) Improvements to invokeAll (Alluxio#7883) [ALLUXIO-3307] set ufs ACL on the createFile path (Alluxio#7844) Remove synchronize on remove user. (Alluxio#7896) [SMALLFIX] Add checkstyle rule for whitespace at end of block (Alluxio#7876) [ALLUXIO-2919] Improve javadoc for DynamicResourcePool#acquire (Alluxio#7886) [ALLUXIO-3323] - InstancedConfiguration.isSet should lookup keys recursively. (Alluxio#7870) Improve logging when failing to add concurrently created inode (Alluxio#7872) [SMALLFIX] Handle Zookeeper authorities in uri check (Alluxio#7871) Return a Pair object of nulls instead of null in getAclPair implementations. (Alluxio#7868) [SMALLFIX] Allow + as a uri authority address delimiter (Alluxio#7850) change the return value from null to a pair of nulls so that we can (Alluxio#7861) Avoid re-formatting journal on Mesos master executor start (Alluxio#7839) ... # Conflicts: # core/common/src/main/java/alluxio/PropertyKey.java

Boxie5

先到这吧后面继续看。

Boxie5 · 2018-10-09T09:49:37Z

+Also, in preparation for using Kodo with alluxio, create a bucket or use an existing bucket. You
+should also note the directory you want to use in that bucket, either by creating a new
+directory in the bucket, or using an existing one. For the purposes of this guide, the Kodo bucket
+name is called `KODO_BUCKET`, and the directory in that bucket is called `KODO_DIRECTORY`. To use the seven cattle object storage service, we need to provide a domain name to identify the specified bucket,for name is called `KODO_DOWNLOAD_HOST` .Also, for


咦怎么出现了 seven cattle?

specified bucket,

后面缺少空格

`KODO_DOWNLOAD_HOST` .

这个地方也缺少空格

for using the Qiniu Service

改成

in order to use Qiniu Kodo Service

?

range 应该是指 zone/region 吧?

Boxie5 · 2018-10-09T09:56:27Z

+alluxio.underfs.address=kodo://<KODO_BUCKET>/<KODO_DIRECTORY>/
+```
+
+Next you need to specify for Kodo access. In `conf/alluxio-site.properties`,


specify for Kodo access

改为

specify following settings to access your bucket

如何？

Boxie5 · 2018-10-09T09:57:50Z

+
+```
+
+fs.kodo.AccessKey=<KODO_ACCESS_KEY>


fs.kodo.xxx 的配置里面不应该有大写的

Boxie5 · 2018-10-09T10:02:41Z

@@ -0,0 +1,119 @@
+---


看上来这个文档里面有不少地方做了强制换行，这个是 alluxio 文档里面通行的做法吗？

Boxie5 · 2018-10-09T10:06:04Z

+
+```
+
+Here `fs.kodo.AccessKey `  and `fs.kodo.SecretKey` is the Access


用了云对象存储的用户应该都知道 access key / secret key 是干嘛的吧，这个地方直接改成

You can get your AccessKey/SecretKey in Qiniu Console - AccessKeys

另外，如果使用原来的介绍方式的话，应该是 are **** strings，而不是 is *** string

Boxie5 · 2018-10-09T10:12:14Z

+`fs.kodo.DownloadHost`  can be found in [Qiniu Kodo](https://portal.qiniu.com/bucket) 
+according to this [order](https://mars-assets.qnssl.com/alluxio_host.png)
+
+`fs.kodo.EndPoint` is the endpoint of this bucket, which can be found in the Bucket in this table


fs.kodo.EndPoint is the endpoint of this bucket, which can be found in the Bucket in this table

改成

fs.kodo.EndPoint is the endpoint of this bucket, according to the following table

如何？

Boxie5 · 2018-10-09T12:46:54Z

+```
+
+After this succeeds, you can visit your Kodo directory `KODO://<KODO_BUCKET>/<KODO_DIRECTORY>` to verify the files
+and directories created by Alluxio exist. For this test, you should see files named like


by Alluxio exist

这个是指?

created改成mounted可能好理解一点

Boxie5 · 2018-10-09T12:48:33Z

+  --option fs.kodo.SecretKey=<KODO_SECRET_KET> \
+  --option fs.kodo.DownloadHost=<KODO_DOWNLOAD_HOST> \
+  --option fs.kodo.EndPoint=<KODO_ENDPOINT> \
+  kodo://<KODO_BUCKET>/<KODO_DIRECTORY>//


好像少了 AlluxioURI ？

大概是缺转义字符？是不是少了空格？

Boxie5 · 2018-10-09T12:52:07Z

+
+## 初始步骤
+
+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)


这个读起来有点像外国人翻译出来的汉语？[捂脸]

要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。

这个句子读着不太像中国人写的。没必要因为其他厂家用这样蹩脚的语言，我们就也跟着用。

Boxie5 · 2018-10-09T12:58:02Z

+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)
+
+另外，为了在 KODO 上使用 Alluxio，需要创建一个bucket（或者使用一个已有的bucket）。还要注意在该 bucket 里使用的目录，可以在该bucket中新建一个目录，或者使用一个存在的目录。在该指南中，Kodo bucket的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY。要使用七牛对象存储服务，需要提供一个可供识别指定 bucket 的域名，本向导中为 KODO_DOWNLOAD_HOST。
+除此之外，还需提供一个 KODO 端点，该端点指定了你的 bucket 在哪个范围，本向导中的端点名为 KODO_ENDPOINT。


endpoint 不用翻译吧？端点这个说法感觉并不传意

Boxie5 · 2018-10-09T12:58:38Z

+
+## 安装Kodo
+
+Alluxio通过[统一命名空间](Unified-and-Transparent-Namespace.html)统一访问不同存储系统。 Kodo的安装位置可以在Alluxio命名空间的根目录或嵌套目录下。


安装位置是否叫挂载点更好？

Boxie5 · 2018-10-09T12:59:37Z

+
+此处, `fs.kodo.AccessKey `和`fs.kodo.SecretKey`分别为`Access Key`字符串和`Secret Key`字符串，均受七牛云[密钥管理界面](https://portal.qiniu.com/user/key)管理；
+
+`fs.kodo.DownloadHost` 可以在[七牛云对象存储管理平台](https://portal.qiniu.com/bucket) 中的空间概览中获取[访问测试域名](https://mars-assets.qnssl.com/alluxio_host.png)


这个，标点符号好像有点乱？

XR0118 · 2018-10-12T05:55:25Z

+  --option fs.kodo.secretkey=<KODO_SECRET_KEY> \
+  --option fs.kodo.downloadhost=<KODO_DOWNLOAD_HOST> \
+  --option fs.kodo.endpoint=<KODO_ENDPOINT> \
+  /kodo /kodo://<KODO_BUCKET>/<KODO_DIRECTORY>/


/kodo /kodo://<KODO_BUCKET>/<KODO_DIRECTORY>/ 多了一个斜杠，应该是
/kodo kodo://<KODO_BUCKET>/<KODO_DIRECTORY>/

XR0118 · 2018-10-12T06:02:23Z

+or [download the precompiled binaries directly](Running-Alluxio-Locally.html).
+
+Also, in preparation for using Kodo with alluxio, create a bucket or use an existing bucket. You
+should also note the directory you want to use in that bucket. For the purposes of this guide, the Kodo bucket


You should also note the directory you want to use in that bucket. 这句好像中间少了个谓语，读上去更顺一点。You should also note the directory you want to use is existed in that bucket.

XR0118 · 2018-10-12T06:24:25Z

+```
+
+After this succeeds, you can visit your Kodo directory `KODO://<KODO_BUCKET>/<KODO_DIRECTORY>` to verify the files
+and directories created by Alluxio exist. For this test, you should see files named like


created改成mounted可能好理解一点

XR0118 · 2018-10-12T06:26:01Z

+[compile the binaries from Alluxio source code](Building-Alluxio-From-Source.html),
+or [download the precompiled binaries directly](Running-Alluxio-Locally.html).
+
+Also, in preparation for using Kodo with alluxio, create a bucket or use an existing bucket. You


句子开头的Also是不是可以考虑去掉，用来做连接的话感觉没有太大作用

close okhttp response

zjy-yuzai · 2018-10-15T06:14:55Z

+
+## 初始步骤
+
+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)


第16行，建议“许多”改为“多台”；“你”改为“用户”；“【编译Alluxio】”改为“【由Alluxio源码编译二进制包】”；“【下载二进制包】”改为“【直接下载预编译过的二进制包】”；

可以是比较生硬

zjy-yuzai · 2018-10-15T06:17:51Z

+
+另外，为了在 Kodo 上使用 Alluxio，需要创建一个 bucket（或者使用一个已有的 bucket ）。在该指南中，Kodo bucket 的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY
+。要使用七牛对象存储服务，需要提供一个可供识别指定 bucket 的域名，本向导中为KODO_DOWNLOAD_HOST。
+除此之外，还需提供一个 Kodo 端点域名，该端点指定了你的 bucket 所在存储区域的访问域名，本向导中的端点域名称为 KODO_ENDPOINT。


感觉endpoint不用翻译啊

endppoint 不翻译的话后面出现比较突兀
如果都觉得不太好的话我这边去掉吧

zjy-yuzai · 2018-10-15T06:21:38Z

+
+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)
+
+另外，为了在 Kodo 上使用 Alluxio，需要创建一个 bucket（或者使用一个已有的 bucket ）。在该指南中，Kodo bucket 的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY


建议在第18行第一个分句后，加上对目录的说明

zjy-yuzai · 2018-10-15T06:25:34Z

+
+`fs.kodo.downloadhost` 可以在[七牛云对象存储管理平台](https://portal.qiniu.com/bucket) 中的空间概览中获取[访问域名](https://mars-assets.qnssl.com/alluxio_host.png)
+
+`fs.kodo.endpoint` 是七牛云存储源站的端点域名配置 可以根据存储空间所在存储区域进行配置


endpoint，同上

delete introduce endpoint

Boxie5 · 2018-10-15T01:43:49Z

+
+## 初始步骤
+
+要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)


要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。

这个句子读着不太像中国人写的。没必要因为其他厂家用这样蹩脚的语言，我们就也跟着用。

Boxie5 · 2018-10-15T02:02:40Z

+
+`fs.kodo.downloadhost` 可以在[七牛云对象存储管理平台](https://portal.qiniu.com/bucket) 中的空间概览中获取[访问域名](https://mars-assets.qnssl.com/alluxio_host.png)
+
+`fs.kodo.endpoint` 是七牛云存储源站的端点域名配置 可以根据存储空间所在存储区域进行配置


空格处需要逗号，结尾处需要加冒号

litianqi1996 and others added 22 commits August 24, 2018 11:15

Merge pull request #1 from Alluxio/master

480f5a7

merge last

update kodo

794eaa6

Merge branch 'master' of https://github.com/Alluxio/alluxio

29cbc49

Merge branch 'master' of github.com:litianqi1996/alluxio

e9ae964

Follow checkstyle

8123f9e

Merge branch 'master' of github.com:litianqi1996/alluxio

34ec694

add READMEKODO.md

dcd639a

update READMEKODO.md

85d5aa5

kodo conf

959e6a7

delete kodoREADME

38c1c09

fix commprefix null

c761b3f

named with kodo

2d69d85

add kodo conf

558fea1

use okhttpclient

23cfb4f

Signed-off-by: litianqi <litianqi@qiniu.com>

format code

25ccedd

Signed-off-by: litianqi <litianqi@qiniu.com>

bucketname in kodoclient

fbdac75

Signed-off-by: litianqi <litianqi@qiniu.com>

update conf

5e77d0c

Signed-off-by: litianqi <litianqi@qiniu.com>

update conf

248422e

Signed-off-by: litianqi <litianqi@qiniu.com>

update KodoFileStstemContractTest

cb2c6e8

format CodeStyle

ebf8506

add doc for use

1e1e4e1

update doc

b8c3d05

Boxie5 reviewed Sep 30, 2018

View reviewed changes

litianqi and others added 7 commits October 7, 2018 21:03

add UnitTest

3fc96f1

reformat codestyle

ab105d1

fllow maven check Style

Merge pull request #3 from Alluxio/master

953b1ca

merge lasted

update introduce

e8cff22

recover oss

2c4212e

update Apache license and log

59b63b1

Boxie5 reviewed Oct 9, 2018

View reviewed changes

litianqi added 9 commits October 11, 2018 00:16

fix commpreifx bug

8164d00

li

8e88680

delete

c9258d3

update kodo-zh.md

d2e3e16

update propertyKey

7a50a4c

revover ali

0a9aced

recover ali

7431757

update doc

abbbd6f

update fix bugs

74a008a

XR0118 reviewed Oct 12, 2018

View reviewed changes

litianqi added 3 commits October 12, 2018 16:26

put log in kodofilesystem

ae00a7e

close okhttp response

update doc with xr

5310464

KODO -> Kodo

975cafe

litianqi1996 force-pushed the qiniu_kodo branch from e545041 to 975cafe Compare October 14, 2018 15:37

zjy-yuzai reviewed Oct 15, 2018

View reviewed changes

update doc

b6b3976

delete introduce endpoint

Boxie5 reviewed Oct 16, 2018

View reviewed changes

litianqi added 2 commits October 17, 2018 10:05

update doc

825182a

update doc

1e52bc2

litianqi1996 force-pushed the master branch from 06595c5 to c70b7ba Compare December 28, 2018 03:47


		要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)

		另外，为了在 KODO 上使用 Alluxio，需要创建一个bucket（或者使用一个已有的bucket）。还要注意在该bucket里使用的目录，可以在该bucket中新建一个目录，或者使用一个存在的目录。在该指南中，Kodo bucket的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY。要使用七牛对象存储服务，需要提供一个可供识别指定 bucket 的域名，本向导中为 KODO_Source_Host。



		private final class KodoObjectListingChunk implements ObjectListingChunk {
		final int mlimit;


		```

		Here `fs.kodo.AccessKey ` and `fs.kodo.SecretKey` is the Access


		## 初始步骤

		要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)


		## 安装Kodo

		Alluxio通过[统一命名空间](Unified-and-Transparent-Namespace.html)统一访问不同存储系统。 Kodo的安装位置可以在Alluxio命名空间的根目录或嵌套目录下。


		此处, `fs.kodo.AccessKey `和`fs.kodo.SecretKey`分别为`Access Key`字符串和`Secret Key`字符串，均受七牛云[密钥管理界面](https://portal.qiniu.com/user/key)管理；

		`fs.kodo.DownloadHost` 可以在[七牛云对象存储管理平台](https://portal.qiniu.com/bucket) 中的空间概览中获取[访问测试域名](https://mars-assets.qnssl.com/alluxio_host.png)


		要在许多机器上运行 Alluxio 集群，需要在这些机器上部署二进制包。你可以自己[编译Alluxio](Building-Alluxio-From-Source.html)，或者[下载二进制包](Running-Alluxio-Locally.html)

		另外，为了在 Kodo 上使用 Alluxio，需要创建一个 bucket（或者使用一个已有的 bucket ）。在该指南中，Kodo bucket 的名称为KODO_BUCKET，在该 bucket 里的目录名称为 KODO_DIRECTORY


		`fs.kodo.downloadhost` 可以在[七牛云对象存储管理平台](https://portal.qiniu.com/bucket) 中的空间概览中获取[访问域名](https://mars-assets.qnssl.com/alluxio_host.png)

		`fs.kodo.endpoint` 是七牛云存储源站的端点域名配置可以根据存储空间所在存储区域进行配置


		```

		fs.kodo.AccessKey=<KODO_ACCESS_KEY>

Conversation

SunRunAway commented Sep 26, 2018

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Boxie5 left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Boxie5 Oct 9, 2018 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Boxie5 Oct 9, 2018 •

edited

Loading