又是一年開源之夏，八大課題項目獎金等你來拿！_HDFS

又是一年季。今年，ApacheDolphinScheduler同樣參與到了活動中來，希望有更多學生群體關注到ApacheDolphinScheduler，并踴躍參與項目共建拿獎金！

No.1活動介紹

開源之夏是由“開源軟件供應鏈點亮計劃”發起并長期支持的一項暑期開源活動，由中國科學院軟件研究所與openEuler社區共同舉辦，旨在鼓勵在校學生積極參與開源軟件的開發維護，促進優秀開源軟件社區的蓬勃發展，培養和發掘更多優秀的開發者。

學生可自主選擇感興趣的項目進行申請，并在中選后獲得社區導師親自指導。根據項目的難易程度和完成情況，參與者還將獲取開源之夏活動獎金和結項證書。

開源之夏活動官網：https://summer.iscas.ac.cn/

No.2活動日程

No.3項目介紹

ApacheDolphinScheduler是一個云原生易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中復雜的任務依賴關系，使各種任務類型(Spark/Flink/MR/Shell/Python/SQL等)在工作流編排中開箱即用。

No.4獎金設置

進階：獎金人民幣12000元

優化類的任務，例如提高性能，降低資源占有

基礎：獎金人民幣8000元

功能類的任務，例如為本社區開源項目增加一個或若干個重要特性等

No.5八大課題

本次活動，ApacheDolphinScheduler開源社區共設有8個項目課題具體如下，歡迎參與：

01為DolphinSchedulerPythonAPI添加資源文件

dYdX基金會：并未發布任何與dYdX v4公開測試網相關的代幣空投或獎勵的新聞:7月24日消息，dYdX基金會發推稱，dYdX并未發布任何與dYdX v4公開測試網相關的代幣空投或獎勵的新聞。[2023/7/24 15:54:12]

222290294

進階/Advanced

Python

目前，DolphinSchedulerPythonAPI只能傳遞字符串格式傳遞任務的參數，例如我們的tutorial

dolphinscheduler/dolphinscheduler-python/pydolphinscheduler/src/pydolphinscheduler/examples/tutorial.py

我們只將一個字符串傳遞給shell任務類型。但通常來說，用戶希望具體的執行代碼儲存在其他系統中，例如將具體文件存儲在本地文件系統、GitHub、GitLab、AmazonS3、阿里云OSS等。也許我們可以添加語法糖讓用戶更加簡單的操作外部文件

任務task_parent將從URLhttps://github.com/apache/dolphinscheduler/blob/dev/script/install.sh加載文件內容并將其傳遞給參數command，它使我們的DAG文件更容易和可維護

實現Resource的插件化

實現具體的插件Resource包括但不限于本地文件系統，GitHub,GitLab,AmazonS3,阿里云OSS

PythonAPI的通過測試覆蓋率，當前閾值為90%

文檔，包括開發和使用

熟悉python，包括decorator、io、network、unittest、document

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Celsius獲準從7月1日起將山寨幣轉換成BTC和ETH:金色財經報道，Celsius周五獲準開始清算其山寨幣，紐約南區的破產法官Martin Glenn批準Celsius在與美國證券交易委員會（SEC）討論后提出的這一舉措，該委員會最近表示，一系列不太常用的加密代幣構成了證券，其處理需要監管部門批準。

Celsius于2022年7月倒閉，其出售給加密貨幣財團Fahrenheit的交易于5月獲得批準。其正在準備一個更新的破產計劃，除了有限的例外，不會涉及向BTC或ETH以外的債權人分配加密貨幣。[2023/7/1 22:11:23]

鐘嘉杰

聯系方式：zhongjiajie955@gmail.com

02資源中心優化

222290456

進階/Advanced

Java、Shell

重構Dolphinscheduler資源中心的讀寫邏輯

目前資源中心讀寫HDFS/S3/本地目錄通過在數據庫表中t_ds_resources記錄文件/文件夾目錄來實現文件記錄，但是在用戶初始化DS或者用戶在DS的外部修改了第三方存儲的內容的時候DS無法進行實時同步，希望能夠與第三方存儲的內容保證實時同步

DS不存儲資源中心中文件的路徑，對于資源中心的讀寫全都通過調用第三方API實現，只保存任務實例依賴到的內容路徑于數據庫用于文件刪除校驗。

實現現有的資源中心的所有功能，其中包括文件/文件夾增刪改查，任務實例調用資源中心

后端API文檔

了解Linux系統，對Linux文件管理有一定的熟悉

了解HDFS/S3組件，能夠較快速的根據官方文檔學習API的使用

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Polygon Labs：SEC變更交易所定義的擬定規則會危害DeFi行業和區塊鏈網絡:6月14日消息，Polygon Labs首席政策官Rebecca Rettig在推特上表示，今天Polygon Labs提交了對美國證券交易委員會（SEC）提議的交易所定義規則制定的回應。新的擬議規則不僅會危害DeFi行業，還威脅到美國未獲許可的區塊鏈網絡。從技術、法律或實踐的角度來看，許多不同和獨立的驗證者無法以某種方式協調到監管機構注冊為交易所。驗證者不會通過分叉或其他方式控制DeFi協議。正如我們在回應中更全面地闡述的那樣，擬議的修訂規則實際上將禁止美國所有未獲許可的區塊鏈網絡，以及建立在此類網絡之上的許多軟件協議，包括DeFi協議。[2023/6/14 21:35:56]

向梓豪

聯系方式：zihaoxiang@apache.org

03master/worker/api模塊日志優化

222290457

進階/Advanced

Java

由于DS日志不方便真實定位問題，需要將打印日志進行規范及優化

整理出DS打印日志規范指導文檔，并提交到文檔庫

將master/worker/api模塊按照規范文檔進行落地并提交到開發分支

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

進勇

聯系方式：jiny.li@foxmail.com

04自動收集、保存作業提交的Yarn作業的applicationid

222290458

進階/Advanced

Java

DolphinScheduler支持各種各樣的作業，比如Python、Shell等，其中一個很基礎的功能就是收集這些作業創建的YarnJob的applicationid。現在的實現方式是用一個正則表達式從作業的日志中解析，但這并不是一個完美的實現方式，本課題的任務就是用一種新的方式去自動收集、報錯YarnJob的applicationid信息，當然了，必須對用戶透明，即對用戶創建的作業無侵入。

加密支付應用Strike將集成USDT:5月22日消息，基于比特幣閃電網絡建立的加密支付應用Strike宣布將 Tether (USDT) 整合到其平臺上。[2023/5/22 15:19:21]

自動收集、報錯YarnJob的applicationid信息

必須對用戶透明，即對用戶創建的作業無侵入

熟悉Java,Yarn,Hive,SparkSQL,AOP

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

gabrywu

聯系方式：gabrywu@apache.org

05為DolphinScheduler添加服務初始化的工作流demo

222290459

進階/Advanced

Java、Shell

用戶在啟動DolphinScheduler服務后，可以使用demo-tool程序預置工作流demo，包括但不限于簡單的shell任務、邏輯組件任務、參數傳遞等功能，引導用戶更方便地使用DolphinScheduler。

預置工作流demo的tool程序

服務啟動腳本添加init模式

工作流demo包括但不限于shell任務、邏輯組件任務、參數傳遞等

熟悉Java、Shell

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

蔡順峰

聯系方式：caishunfeng2021@gmail.com

06為DolphinScheduler添加Java任務類型

過去24小時全網爆倉5492.81萬美元:金色財經報道，數據顯示，過去24小時全網爆倉5492.81萬美元，其中比特幣爆倉1605.45萬美元，以太坊爆倉867.45萬美元，PEPE爆倉1102.87萬美元。[2023/5/14 15:01:45]

222290460

進階/Advanced

Java、Shell、Vue、TypeScript

提供Java類型的調度任務，包括Jar和自定義Java代碼兩種方式，通過WEBUI定義Java運行時所需要的Resources、Libs資源文件和JVM參數，覆蓋定時任務調用Java程序場景并提升用戶方便配置。

可執行的Java類型任務插件

Java類型插件支持Jar方式，提供Resources、Libs資源文件和JVM參數的動態參數輸入

Java類型插件支持WebUI自定義Java代碼方式，提供Java類即時編譯，執行

熟悉Shell、Java、SPI、Javacompiler、VUE3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Kerwin

聯系方式：zhuangchong6@163.com

07支持測試任務

222290461

進階/Advanced

Java、Vue

目前新增/修改的工作流在上線前很難驗證工作流配置是否正確，只能通過在線上環境執行來驗證，所以有必要支持測試環境執行任務。

數據源中心支持配置測試環境源，線上環境源可綁定一個測試環境源。任務執行及工作流執行支持“是否測試”選項，選擇測試時，Worker節點在任務執行前，自動替換線上環境源為綁定的測試環境源，再配合Worker分組實現線上、測試環境的隔離，最終達到支持測試任務的目標。

數據源配置頁面增加線上、測試選項，支持綁定測試源

工作流執行頁面、任務執行頁面新增線上、測試選項

Master節點、Worker節點解析執行環境標識，替換數據源為測試數據源

工作流實例、任務實例頁面增加執行環境標識

熟悉Java、Spring、VUE3

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

溫合民

聯系方式：whm_777@163.com

08為DolphinScheduler的項目和資源中心增加讀寫權限的授權管理

222290462

基礎/Basic

Java、Vue、TypeScript

當前DolphinScheduler對于權限的管控相對比較簡單，希望在進行項目和資源中心授權時增加操作權限管控來進行讀寫權限的分離。

針對單個項目的全部內容進行讀寫權限區分，對單個用戶針對單個項目授權只讀或者讀寫權限

針對資源中心的全部內容進行讀寫權限區分，基于當前資源中心的授權內容區分出只讀或者讀寫權限

進行授權時前端頁面增加只讀和讀寫的授權操作

熟悉Java、Spring、Vue3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

孫朝和

聯系方式：sunzhaohe0825@gmail.com

No.6申請參與項目

01申請資格

本活動面向年滿18周歲在校學生。

暑期即將畢業的學生，只要在申請時學生證處在有效期內，就可以提交申請。

海外學生可提供錄取通知書/學生卡/在讀證明證明學生身份。

02參與流程

03申請建議

歡迎主動向導師發送郵件進行溝通，附上自己的方案和簡歷，更加了解你~

認真了解社區項目文檔，與導師充分溝通。

歡迎加入交流群交流

參與貢獻

隨著國內開源的迅猛崛起，ApacheDolphinScheduler社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球。

參與DolphinScheduler社區有非常多的參與貢獻的方式，包括：

貢獻第一個PR(文檔、代碼)我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度。

社區匯總了以下適合新手的問題列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子孵化群，可以添加社區小助手微信(Leonard-ds)，手把手教會您(貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心)。

添加小助手微信時請說明想參與貢獻。

來吧，開源社區非常期待您的參與。

活動推薦

當數據資源成為生產發展乃至于生存過程中必不可少的要素，企業該如何通過數據集成幫助企業數據服務全生命周期落地呢？5月14日，數據集成框架ApacheSeaTunnel(Incubating)將邀請一站式數據集成平臺ApacheInLong(Incubating)的技術專家與開源貢獻者們，一同來到直播間，與大家暢談使用ApacheSeaTunnel(Incubating)與ApacheInLong(Incubating)后的實踐經歷與心得體會。

直播鏈接：https://www.slidestalk.com/m/777

Tags：APIDAGHDFSAPI價格API幣DAG價格DAG幣HDFS幣是什么幣

萊特幣最新價格