Как подключиться к Yandex Cloud Storage через AWS S3 golang

Проблема

Если вы вдруг решили подключиться в Yandex Cloud Storage с помощью библиотеки golang aws, у вас могут возникнуть проблемы. Давайте попробуем разобраться.

Официальная документация

В документации от яндекса, есть пример, как мы можем подключиться к их хранилищу с помощью golang aws библиотеки.

Если вы пришли сюда, то скорее всего изучили уже ее и у вас ничего не получилось, но на всякий случай, вот ссылка на ее.

Вы можете столкнуться с двумя проблемами.

Проблема с «unknown endpoint requested»

У вас может возникнуть это ошибка, если вы указали регион как в документации, «ru-central1», попробуйте указать регион «us-east-1», то есть выглядеть это будет так:

customResolver := aws.EndpointResolverWithOptionsFunc(func(service, region string, options ...interface{}) (aws.Endpoint, error) {
		if service == s3.ServiceID && region == "us-east-1" {
			return aws.Endpoint{
				PartitionID:   "yc",
				URL:           "https://storage.yandexcloud.net",
				SigningRegion: "ru-central1",
			}, nil
		}
		return aws.Endpoint{}, fmt.Errorf("unknown endpoint requested")
	})

То есть в if блоке заменим регион на другой.

Проблема SignatureDoesNotMatch

После этого, вы скорее всего получите ошибку StatusCode: 403, RequestID: 42e13ec9e5a8e84f, HostID: , api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method.

Дело в том, что яндекс документация предлагает вам хранить ключи в .aws папке, но мы не хотим их там хранить, а хотим прописать где-нибудь в конфиге, или использовать какой-нибудь другой метод.

Решение

Например, я сделал себе access и secret key, и хочу подключаться по ним. Поэтому мне надо добавить в LoadDefaultConfig метод, кроме WithEndpointResolverWithOptions, еще и WithCredentialsProvider, получается примерно так.

cfg, err := config.LoadDefaultConfig(
		context.TODO(),
		config.WithEndpointResolverWithOptions(customResolver),
		config.WithCredentialsProvider(
			&credentials.StaticCredentialsProvider{
				Value: aws.Credentials{
					AccessKeyID:     "AccessKeyID",
					SecretAccessKey: "SecretAccessKey",
				}}))

Вместо «AccessKeyID» и «SecretAccessKey» вам надо указать свой ключ и секрет, соответственно.

После этого у вас должен заработать ваш код

Итог

Итоговый код подключения у вас должен выглядеть так

func main() {
	customResolver := aws.EndpointResolverWithOptionsFunc(func(service, region string, options ...interface{}) (aws.Endpoint, error) {
		if service == s3.ServiceID && region == "us-east-1" {
			return aws.Endpoint{
				PartitionID:   "yc",
				URL:           "https://storage.yandexcloud.net",
				SigningRegion: "us-east-1",
			}, nil
		}
		return aws.Endpoint{}, fmt.Errorf("unknown endpoint requested")
	})

	cfg, err := config.LoadDefaultConfig(
		ctx,
		config.WithEndpointResolverWithOptions(customResolver),
		config.WithCredentialsProvider(
			&credentials.StaticCredentialsProvider{
				Value: aws.Credentials{
					AccessKeyID:     "AccessKeyID",
					SecretAccessKey: "SecretAccessKey",
				}}))
	client := s3.NewFromConfig(cfg)
	result, err := client.ListBuckets(context.TODO(), &s3.ListBucketsInput{})
	if err != nil {
		log.Fatal(err)
	}
	for _, bucket := range result.Buckets {
		log.Printf("bucket=%s creation time=%s", aws.ToString(bucket.Name), bucket.CreationDate.Format("2006-01-02 15:04:05 Monday"))
	}
}

Так же, вы можете указать другой провайдер.