diff --git a/WeeklyReports/Hackathon_6th/23_cocoshe/[WeeklyReports]2024.03.23~2024.04.05.md b/WeeklyReports/Hackathon_6th/23_cocoshe/[WeeklyReports]2024.03.23~2024.04.05.md new file mode 100644 index 00000000..31bad8c7 --- /dev/null +++ b/WeeklyReports/Hackathon_6th/23_cocoshe/[WeeklyReports]2024.03.23~2024.04.05.md @@ -0,0 +1,39 @@ +### 姓名 + +叶柯 + +### 实习项目 + +PaddleMIX 套件能力建设(图文方向) + +### 本周工作 + ++ 阅读PaddleMIX源码,完成Internlm-XComposer的前向对齐,编写和通过单测;完成sft反向的step-lr、step-loss对齐。 + +> warmup 阶段step-lr + +![output_lr](https://github.com/cocoshe/Camp/assets/69197635/097fdd86-3297-45e8-9a42-33817de30cd7) + + +> warmup 阶段step-loss + +![output_loss](https://github.com/cocoshe/Camp/assets/69197635/3dfdc0d3-3219-46d7-852c-626f3d4df10d) + +> warmup 之后 step-lr + +![after_warmup2](https://github.com/cocoshe/Camp/assets/69197635/1c682041-5826-4d22-ad61-b676e5dc291b) + + +> warmup 之后 step-loss + +![after_warmup1](https://github.com/cocoshe/Camp/assets/69197635/1f064ac0-50f1-465d-be0b-b8bb027b481c) + +(num_accumulate为8时) + +### 下周工作 + +1. 将InternLM-XComposer集成到PaddleMIX中,支持sft + +### 导师点评 +在完成任务期间,发现了paddle embeding与torch的行为不一致问题,并告知框架同学。 +继续保持,按计划进行完成任务