损坏的DAG:[/AIRFLOW/DAGS/a.py]无法解密登录=NONE的`Extra‘参数,缺少Fernet

编程入门 行业动态 更新时间:2024-10-09 18:16:27
本文介绍了损坏的DAG:[/AIRFLOW/DAGS/a.py]无法解密登录=NONE的`Extra‘参数,缺少Fernet_key配置的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧! 问题描述

我在没有Fernet_key的情况下启动了气流。一旦我意识到这一点,我做了以下事情: airflow.apache/configuration.html#connections

pip install apache-airflow[crypto] from cryptography.fernet import Fernet fernet_key= Fernet.generate_key() print(fernet_key)

获取密钥并将其放在airflow.cfg中,然后调用airflow initdb,但仍显示错误。

我做错了什么?

当我这样做时:

airflow webserver -D

我得到:

File "/usr/local/lib/python2.7/dist-packages/airflow/models.py", line 713, in extra_dejson if self.extra: File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/attributes.py", line 293, in __get__ return self.descriptor.__get__(instance, owner) File "/usr/local/lib/python2.7/dist-packages/airflow/models.py", line 632, in get_extra return fernet.decrypt(bytes(self._extra, 'utf-8')).decode() File "/usr/lib/python2.7/dist-packages/cryptography/fernet.py", line 101, in decrypt raise InvalidToken

日志表明此代码有问题:

def get_conn(conn_id, session=None): conn = (session.query(Connection) .filter(Connection.conn_id == conn_id) .first()) return conn def my_python_function(): conn = get_conn('s3connection') key_id = conn.extra_dejson.get('aws_access_key_id') secret_key = conn.extra_dejson.get('aws_secret_access_key') default_region = conn.extra_dejson.get('region_name') return key_id,secret_key,default_region 推荐答案

使用FERNET,Airflow加密后端数据库中其连接的所有密码。

在您的情况下,Airflow后端正在使用以前的fernet密钥,并且您已经生成了一个密钥,您已使用该密钥创建了新连接。

我的建议是做以下几件事 第一,

airflow resetdb

这将有助于删除后端数据库中的所有现有记录。

然后,

airflow initdb

这会将后端初始化为Fresh。

然后启动Airflow Web服务器和计划程序

airflow web server -p {port} airflow scheduler

然后在UI中创建S3的新连接(在Extra-{"aws_access_key_id":"_your_aws_access_key_id_","AWS_SECRET_ACCESS_KEY":"_Your_AWS_SECRET_ACCESS_KEY_"}中)

现在您应该能够按照-Airflow s3 connection using UI

中的解决方案测试S3文件监视器

更多推荐

损坏的DAG:[/AIRFLOW/DAGS/a.py]无法解密登录=NONE的`Extra‘参数,缺少Fernet

本文发布于:2023-11-23 22:15:42,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1623010.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:参数   DAGS   AIRFLOW   DAG   Fernet

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!