Apache Spark 的新编程语言

2023-09-06 0 267

原副标题:Apache Spark 的新C语言

English SDK for Spark : 将英文做为一类捷伊C语言,将聚合式 AI 当作C++, 将 Python 视为二进制码!

责任编辑主要就如是说了 Apache Spark 的英文软件设计组件(SDK)的必要性和最终目标,和它选用聚合式 AI 控制技术来多样Spark 的采用新体验。它还提及了GitHubCopilot 对 AI 远距标识符合作开发的负面影响,和其rk 的声望重大贡献这份精神力量。

书名镜像:https://www.databricks.com/blog/introducing-english-new-programming-language-apache-spark

译者 | Gengliang Wang,Xiangrui Meng,Reynold Xin,Allison Wang,Amanda Liu和Denny Lee

翻译者 | 没错如月

白眉林 | 夏萌

公司出品 | CSDN(ID:CSDNnews)

前言

他们十分兴奋向我们如是说 Apache Spark 的英文软件设计组件(SDK)。这是两个颠覆性的辅助工具,意在多样你的 Spark 采用新体验。Apache Spark™ 在亚洲沿海地区范围内,全面覆盖 208 个北欧国家和沿海地区,年用户数少于 10 万次,早已在小规模数据挖掘应用领域获得了巨大成就。他们的英文 SDK 选用一流的聚合型 AI 控制技术,意在不断扩大那个活耀的街道社区,使 Spark 在可用性通好Branne上达至空前的度!

共相

GitHub Copilot 对 AI 远距的标识符合作开发应用领域产生了深远的负面影响。虽然它功能强大,但用户需要理解聚合的标识符后才能提交。同时,审查者也需要理解标识符才能进行审查。这可能会限制其广泛应用的一大阻碍。当处理 Spark 表和 DataFrames 时,它偶尔也会聚合不正确或不符合预期的标识符。下面的 GIF 动图展示了这一点,Copilot 提出了两个窗口规范,并引用了不存在的dept_id列,这需要一些专业知识才能理解。

Apache Spark 的新编程语言

与其将 AI 视为副驾驶,为何不让 AI 当作司机,他们坐在豪华的后座享受呢?这就是他们英文 SDK 所要扮演的角色。他们发现,尖端的大型语言模型对 Spark 十分了解,这得益于优秀的 Spark 街道社区,他们在过去十年中,重大贡献了大量的开放的、高质量的内容,比如 API 文档、开源项目、问题和答案、教程和书籍等。现在,他们将这些聚合型 AI 对 Spark 的专业知识融入到英文 SDK 中。你不再需要理解复杂的聚合标识符,只需用简单的英文指令即可得到结果:

transformed_df = df.ai.transform(get 4 week moving average sales by dept)

英文 SDK 通过理解 Spark 表和 DataFrames 来处理复杂性,并直接返回两个正确的 DataFrame !

他们的愿景是:将英文做为一类C语言,并采用聚合式 AI 将这些英文指令编译成 PySpark 和 SQL 标识符。这种创捷伊方式意在降低编程的门槛和简化学习曲线。那个愿景是推动英文 SDK 的主要就驱动力,他们的最终目标是不断扩大 Spark 的声望,让 Spark 从两个成功走向另两个成功。

Apache Spark 的新编程语言

英文 SDK 的特性

英文 SDK 通过实现以下关键特性,使 Spark 的合作开发过程变得更简单:

:根据你的描述,SDK 可以进行网络搜索,运用大型语言模型 (LLM) 确定最佳结果,然后顺利地将选定的网络数据集成到 Spark 中,这些操作都能在两个步骤中完成。

DataFrame 操作:SDK 对指定的 DataFrame 提供了功能,根据你的英文描述执行转换、绘图和解释操作。这些功能大大提升了标识符的可读性和效率,使得对 DataFrames 的操作更加直接和直观。

自定义函数 (UDFs):SDK 提供了简洁的创建 UDFs 的流程。你只需要提供一段描述,AI 就可以负责标识符的补全。这一特性简化了 UDF 的创建过程,让你可以专注于函数定义,而 AI 则会处理其余部分。

缓存:SDK 吸取了缓存的优点以提升执行速度,保证结果的可复用性,并节省成本。

示例

为了进一步说明如何采用英文 SDK,他们将通过一些例子进行演示:

如果你是一名数据科学家,需要导入2022年美国全国汽车销售数据,您只需要两行标识符即可完成:

spark_ai = SparkAI auto_df = spark_ai.create_df(“2022 USA national auto sales by brand”)

DataFrame 操作

对于给定的 DataFrame 对象,SDK 允许你运行以 df.ai 开头的方法。这包括转换、绘图、DataFrame 解释等等。

要激活 PySpark DataFrame 的部分函数:

spark_ai.activate

要预览 auto_df

auto_df.ai.plot

要查看各汽车公司的市场份额分布:

auto_df.ai.plot(“pie chart for US sales market shares, show the top 5 brands and the sum of others”) auto_top_growth_df=auto_df.ai.transform(“top brand with the highest growth”) auto_top_growth_df.show auto_top_growth_df.ai.explain

总的来说,那个 DataFrame 正在查找销售增长最快的品牌。它将结果按销售增长率降序排列,并仅返回增长最快的结果。

自定义函数 (UDFs) SDK

支持通过简单而清晰的方式创建自定义函数。采用@spark_ai.udf装饰器,你只需定义两个带有文档字符串的函数,SDK 就会在后台自动完成标识符聚合:

@spark_ai.udf def convert_grades(grade_percent: float) -> str: “””Convert the grade percent to a letter grade using standard cutoffs”””

现在,你可以在 SQL 查询或 DataFrames 中采用那个自定义函数(UDF)

SELECT student_id, convert_grades(grade_percent) FROM grade

总结

Apache Spark 的英文 SDK 是两个既简洁又强大的辅助工具,能够显著提升你的合作开发效率。它的最终目标是简化复杂的任务,减少必需的标识符量,使你可以专注于从数据中挖掘洞察。

虽然英文 SDK 还处于早期的合作开发阶段,但未来可期。他们鼓励你去尝试那个创捷伊辅助工具,亲身感受其带来的便利,并考虑为此项目重大贡献自己的这份精神力量。不要在这场革命中袖手旁观,而应该积极参与其中。现在就去 pyspark.ai 上探索和新体验英文 SDK 的强大功能吧。你的参与和洞见,将为不断扩大 Apache Spark 的声望做出重要重大贡献。

▶阿里发布免费的全新可变字体;Stability AI CEO:5年内,人类程序员将不复存在;Perl 5.38发布|极客头条

▶ 因资金短缺,全职合作开发者自述:这款开源软件可能没有未来了!

▶ Mac 上能跑国产系统了!深度 deepin 官宣:正式适配 M1 芯片 更多

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务