您的位置:首页 > 房产 > 家装 > aws lakeformation跨账号共享数据的两种方式和相关配置

aws lakeformation跨账号共享数据的两种方式和相关配置

2024/12/28 19:18:29 来源:https://blog.csdn.net/sinat_41567654/article/details/139246689  浏览:    关键词:aws lakeformation跨账号共享数据的两种方式和相关配置

lakeformation授权方式分为

  • 基于tag的授权
  • 基于命名资源的授权

先决条件

跨账号共享数据的先决条件(命名资源和tag授权都需要)

分两种情况

  1. 如果账户中没有glue data catalog资源策略,则LakeFormation跨账户授予将照常进行

  2. 如果存在glue data catalog基于资源策略,则需要glue如下基于资源策略,授权RAM服务共享账号下的所有资源

    {"Effect": "Allow","Action": ["glue:ShareResource"],"Principal": {"Service":"ram.amazonaws.com"},"Resource": ["arn:aws:glue:region:account-id:table/*/*","arn:aws:glue:region:account-id:database/*","arn:aws:glue:region:account-id:catalog"]
    }
    

    如果同时使用tag和命名资源授权,则需要通过命令行附加glue基于资源的策略,注意--enable-hybrid参数

    aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
    

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置(需要额外的PutDataLakeSettings权限)

向消费者账户授权,可以选择账号或者组织
在这里插入图片描述

选择指定database的所有表和所有权限,如果出现下面的报错,表明从报错信息来看,是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

授权所有表之后,授权条目没有database但是能看到是为什么?

可以授予对单个表的权限,也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限,则将隐式授予对数据库的 DESCRIBE 权限。然后,数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置,则会出现授权失败的问题,需要关闭表的setting配置
在这里插入图片描述

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销),则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.

授权成功后查看table权限出现消费者账号信息
在这里插入图片描述
在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .

点击跳转接受请求(中国区控制台直接点击会跳转到美东区),手动跳转到Resource Access Manager服务

搜索之前分享的资源

在这里插入图片描述
最终的共享资源类型

在这里插入图片描述

在消费者账户的glue控制台已经能看到table了
在这里插入图片描述
此时已经能够在消费者账户找到表,但是athena查询无法找到database

在消费者账户创建database的资源链接(别名链接)

在这里插入图片描述
在athena中能够找到database,执行查询报错

在这里插入图片描述
忘记在lakeforamtion中注册location,此时尽管消费者账户能够通过lakeformation获取临时凭证,但是找不到s3数据

在这里插入图片描述
注册完毕后查询成功

在这里插入图片描述

注意事项

如果用户不是lakeformation管理员,则

  • 单纯指定账户并不能在具体的user下看到表,仅仅是创建了RAM

  • 因此需要在具体的user授权,才能看到database(此时复用了之前的RAM,不需要再接受了)

向外部账户或组织授予权限时,必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源,直到管理员向外部账户中的其他主体授予对共享资源的权限。

将属于另一个 Amazon 账户的数据目录资源与账户共享后,作为数据湖管理员,可以向账户中的其他主体授予对共享资源的权限。但是,不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例:

  • 有大量的表和主体,数据湖管理员必须授予访问权限
  • 想根据本体对数据进行分类并根据分类授予权限
  • 数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限,可以创建、更新和删除 LF-Tag,将 LF-Tag 分配给资源,以及向主体授予 LF-Tag 权限。

基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列,并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签,在这里统一管理
在这里插入图片描述
可以在资源上(database和table)添加LF tag

  • table默认继承database
  • column默认继承table
    在这里插入图片描述
    授权B账号可以操作的LF tag

在这里插入图片描述
在B账号直接查表,正常没有问题,但是表上没有命名方式的授权条目,表示授权是通过LF tag进行的
在这里插入图片描述
很明显,LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

  • 注意,必须是数据湖管理源才有权限,否则结果为空
$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY{"PrincipalResourcePermissions": [{"Principal": {"DataLakePrincipalIdentifier": "4xxxxxxxx6"},"Resource": {"LFTagPolicy": {"CatalogId": "037xxxxxxx284","ResourceType": "DATABASE","Expression": [{"TagKey": "testk","TagValues": ["testv"]}]}},"Permissions": ["ALTER","CREATE_TABLE","DESCRIBE"],"PermissionsWithGrantOption": [],"AdditionalDetails": {"ResourceShare": ["arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"]}},

此外,在控制台也能看到对应的授权权限

在这里插入图片描述

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com