每次用vscode远程ssh连接服务器时都很正常，但是当本地的vscode更新了以后，vscode就无法连接远程服务器了。但是如果用命令ssh依然可以连接，发现最后报的错误是downloading with wget
排查了下原因，感觉是远程服务器无法连接外网，本地remote ssh时会自动在远程下载一个tar包
1 | Downloading with wget |
解决方法是想办法让服务器连上外网，或者在本地下载之后传输到服务器端，这里我是通过第一个方法解决的
因为服务器没法连接外网，但是服务器管理员提供了一个访问白名单，因此我直接把这个白名单网站加入到环境变量中解决了
其中网站为你的白名单网站
1 | export http_proxy=http://127.0.0.1:8087 |
- 版权声明： 本博客所有文章除特别声明外，均采用 CC BY 4.0 CN协议 许可协议。转载请注明出处！
1. 输出参数名字的一些操作 输出需要梯度的参数的名字 123for n,p in self.lm_head.named_parameters(): if p.requires_grad == True: print(n)
1. LLaMA源码解读 这里以Huggingface中的LLaMA源码为例，LLaMA是一个因果模型，不论是做下游任务（例如分类等）还是生成任务，我们都要使用其中的LlamaModel模型作为base模型，此模型的就是初始化词向量以及Transformer模块，下面我们从LlamaModel源码开
1. LoRA论文解读 这里先不解读了，直接看Microsoft的代码 2. LoRA代码解析 lora代码最初由微软GitHub提供，我对代码进行了精简，可以在这里下载lora，此代码主要为了学习使用，方便理解lora的整个流程。 这里以NLG任务中的e2e数据集为例 2.1 对数据的预处理 如下
1. pytorch获取网络结构 在写深度学习程序时，我们通常要将网络打印出来查看网络结构，一个最简单的方法就是直接print(model)来打印模型结构，这里我们以下面程序为例 1234567891011121314151617181920212223242526272829import torc
c Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond. Alibaba Group 1.1 论文动机 本文是在Qwen-LM的基础上进行改的，本文的
— title: about date: 2022-07-30 17:05:33 layout: about —