HTML · 5 watchers
ecwu-theme
Hugo theme for new ecwu home
ecwu's repos on GitHub
HTML · 2 watchers
About-Portal
About:Blank 2.0
Python · 2 watchers
python-sciread
Understand academic papers with LLM-driven agents.
C · 1 watchers
COMP3173_CC
COMP3173 Compiler Construction
Python · 1 watchers
papra-llm-manager
Enhance Papra with AI-powered features. Extract text from images using vision-enabled LLMs and automatically tag documents based on content understanding.
HTML · 1 watchers
sigCountdown
Countdown Page for UICAISIG
Python · 0 watchers
.skills
set of skills that I will use
0 watchers
100-Days-Of-ML-Code
100 Days of ML Coding
Python · 0 watchers
6.00.1x
MITx:6.00.1x Introduction to Computer Science and Programming Using Python
HTML · 0 watchers
About_Blank
About_Blank
JavaScript · 0 watchers
amacs
AQ-ANDELU CHATTING SIMULATOR
Ruby · 0 watchers
Autolab
Course management service that enables auto-graded programming assignments.
Python · 0 watchers
bcsc
A comprehensive collection of Python scripts for extracting, processing, and managing course data from various sources at Beijing Normal Hong Kong Baptist University (BNBU).
0 watchers
bert-fairseq
Implement BERT and MulitPointer-generator on the basis of fairseq
Python · 0 watchers
blogroll
世界一流兼容并包TUNA协会收集的周围同学们的Blog
HTML · 0 watchers
branding
0 watchers
charts
TrueNAS SCALE Apps Catalogs & Charts with new Tailscale
TypeScript · 0 watchers
chatgpt-api-web
纯前端灵车项目，调用 OpenAI API ChatGPT 进行对话。
0 watchers
cheatsheet-translation
Translation of VIP cheatsheets for Machine Learning Deep Learning, and Artificial Intelligence
EJS · 0 watchers
codespaces-test
C++ · 0 watchers
COMP1013_SP
Structure Programming for Computer Science Student
C++ · 0 watchers
COMP1013_SPGP
Structured Programming Repo for UICcst16 Y2A
Python · 0 watchers
COMP1013_SP_derive
Structure Programming Assignment & Lab Using Other Language
C++ · 0 watchers
COMP2003_DSnA
COMP2003: Data Structures and Algorithms
Java · 0 watchers
COMP2013_OOP
COMP2013: Object-Oriented Programming
0 watchers
COMP3013_DMS
COMP3013: Database Management Systems
C · 0 watchers
COMP3033_OS
C++ · 0 watchers
COMP3073_ITR
Introduction to Robotics
C · 0 watchers
COMP4033_CGGP
COMP4033 Computer Graphics Group Project
Python · 0 watchers
course-api
Go · 0 watchers
coursehub
JavaScript · 0 watchers
covid_vaccine_dashboard
0 watchers
cssn
Computer Science Study Note
Python · 0 watchers
DeepMoji
State-of-the-art deep learning model for analyzing sentiment, emotion, sarcasm etc.
Java · 0 watchers
Dijkstra
0 watchers
django-bootstrap-starter
HTML · 0 watchers
dms-archive
Archive for Digital Marks Studio
0 watchers
dms_website
Digital Marks Studio
0 watchers
docs
The open-source repo for docs.github.com
Shell · 0 watchers
dotfiles
TypeScript · 0 watchers
ecwu-toolkit
HTML · 0 watchers
ecwu.github.io
Blog, Builds with help of GoHugo and GitHub Actions.
HTML · 0 watchers
ecwu.github.io.source
JavaScript · 0 watchers
ecwuuuuu
My Personal Website (Legacy)
HTML · 0 watchers
ecwu_xyz_landing
0 watchers
find-color-name
0 watchers
gin-web
由gin + gorm + jwt + casbin组合实现的RBAC权限管理脚手架Golang版, 搭建完成即可快速、高效投入业务开发
0 watchers
gitea
Git with a cup of tea, painless self-hosted git service
Ruby · 0 watchers
githubarchive.org
GitHub Archive is a project to record the public GitHub timeline, archive it, and make it easily accessible for further analysis.
Python · 0 watchers
gpt-2
Code for the paper "Language Models are Unsupervised Multitask Learners"
0 watchers
HanLP
中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁转换 自然语言处理
0 watchers
HCC-Regulations
UIC HCC Computer Society Form of Organization, Rules and Regulations
0 watchers
heroku-telegram-bot
Starter pack to host your Python Telegram Bot on Heroku for free.
0 watchers
hitokoto_bot
A Telegram bot hosted in cloudflare workers
0 watchers
homelab
configurations for my home lab and personal infrastructure
HTML · 0 watchers
hugoDocs
The source for https://gohugo.io/
TypeScript · 0 watchers
iib-node
IIB Node
Python · 0 watchers
iSpace_Downloader
Easy way to download "all" course resources at iSpace
TeX · 0 watchers
latex-homework-template
🎓📄 The LaTeX file that I use as the base for all my homeworks in university.
Python · 0 watchers
LCBot
微信群机器人(UICCST定制版本)
Shell · 0 watchers
lede
0 watchers
LeetCode
Python · 0 watchers
long-transcriber
Shell · 0 watchers
mac-dev-playbook
Mac setup and configuration via Ansible.
0 watchers
motd
Collection of 'message of the day' scripts
Jupyter Notebook · 0 watchers
MSBD5001_Kaggle_2020
0 watchers
musegan
An AI for Music Generation
Jupyter Notebook · 0 watchers
nlp-beginner
NLP上手教程
0 watchers
Notes
Notes on classes, for myself, as well as you.
0 watchers
ntc-js
Name That Colour - JavaScript (Credit to Chirag Mehta)
JavaScript · 0 watchers
ntc.js
A "fork" of ntc.js, originally by Chirag Mehta at http://chir.ag/projects/ntc/
Swift · 0 watchers
object-storage-manager
TypeScript · 0 watchers
openbook
0 watchers
OpenRCA
[ICLR'25] OpenRCA: Can Large Language Models Locate the Root Cause of Software Failures?
0 watchers
Oscar
Oscar and VinVL
TypeScript · 0 watchers
outline
The fastest wiki and knowledge base for growing teams. Beautiful, realtime, feature rich, and markdown compatible.
HTML · 0 watchers
SDWI
Software Development Workshop I
HTML · 0 watchers
SDWIGP
Software Development Workshop I Group Project
Jupyter Notebook · 0 watchers
SDWII
Software Development Workshop II
CSS · 0 watchers
SDWIIGP
Software Development Workshiop II Group Project
0 watchers
shields
Concise, consistent, and legible badges in SVG and raster format
HTML · 0 watchers
special-topic
This repository is used to store visual or interactive pages/content from the ecwu blog.
0 watchers
SSRClash
SSR订阅到Clash神机规则，Python脚本
0 watchers
sub-ini
TypeScript · 0 watchers
subscription-bot
0 watchers
toadcoin
HTML · 0 watchers
uichcc.github.io
Test Homepage for UICHCC
JSON · 0 watchers
uptime
Services and Websites status
Jupyter Notebook · 0 watchers
Using-Python-Series
Use Python in Statistics Courses
HTML · 0 watchers
videopages
Video must see in FE2plus
JavaScript · 0 watchers
wht-university-link
校园导航链接列表
 |
ecwuV2EX member #233000, joined on 2017-05-29 10:15:48 +08:00 |
ecwuuuuu.com
Hong Kong
ecwu
 |
Per ecwu's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
ecwu's recent replies
Nov 13, 2023 Replied to a topic by lijianmin321 › 分享创造 › 备忘录+翻译+文件搜索+ChatGPT=Airy，给 V 站老哥前 1000 个用户都送终身会员 |
mark 一下，支持！
Apr 7, 2023 Replied to a topic by cydian › 程序员 › [盖楼🎁送 15 天 20 份] 力扣 Leetcode Plus 会员 兑换码（1~365 天） |
做个分母
Nov 3, 2022 Replied to a topic by nanshaobit › 程序员 › 有好用的内网搭建的 wiki 或笔记系统吗？ |
推荐 [outline]( https://github.com/outline/outline)，就是必须要配置一个 SSO, OIDC, 或 SAML 的身份认证，目前不支持账号密码登录。
Sep 11, 2022 Replied to a topic by EliteOtaku › NAS › 请问有使用群晖内置 DDNS 的朋友吗？现在有哪些域名不在防火墙名单里？ |
在使用 synology.me
Jul 27, 2022 Replied to a topic by Richard14 › 程序员 › 深度学习中位置编码的本质是不是就是一层 nn.Parameter()而已？ |
@Richard14 不同预训练任务是替换不同的输出层，这里你可以参考下原论文。预训练任务的顺序会导致模型效果的差异。
使用 HuggingFace 来训练自己的模型可以参考 https://stackoverflow.com/questions/65646925/how-to-train-bert-from-scratch-on-a-new-domain-for-both-mlm-and-nsp
使用 HuggingFace 来训练自己的模型可以参考 https://stackoverflow.com/questions/65646925/how-to-train-bert-from-scratch-on-a-new-domain-for-both-mlm-and-nsp
Jul 27, 2022 Replied to a topic by Richard14 › 程序员 › 深度学习中位置编码的本质是不是就是一层 nn.Parameter()而已？ |
@Richard14 你可以理解 BERT 给出的 embedding 是高级版 w2v （严谨点是叫 contextual word embedding ，也就是同一个词，在不同的上下文里，embedding 是不同的，不同于 w2v 或者 GloVe 学习完就是固定的）
取平均来获得输入的全局的表示确实会损失隐式信息，但是 CLS 位置 embedding 是通过 self-attention 获得的，本质上就是对 token embedding 的加权平均。所以用 CLS 还是取平均，需要看具体的任务是干什么。
如果你是对输入句子做分类或输出浮点数，你可以考虑直接拿 CLS 位置的 embedding 给到 MLP 。如果是继续生成内容，可以去了解下 Seq2seq 架构。
最后你提到的 RNN 或者 MLP + 位置编码的想法。我个人认为 RNN 可以尝试。而 MLP 方案，你的输入会过于巨大（ 768 * token 长度），不太可行。
取平均来获得输入的全局的表示确实会损失隐式信息，但是 CLS 位置 embedding 是通过 self-attention 获得的，本质上就是对 token embedding 的加权平均。所以用 CLS 还是取平均，需要看具体的任务是干什么。
如果你是对输入句子做分类或输出浮点数，你可以考虑直接拿 CLS 位置的 embedding 给到 MLP 。如果是继续生成内容，可以去了解下 Seq2seq 架构。
最后你提到的 RNN 或者 MLP + 位置编码的想法。我个人认为 RNN 可以尝试。而 MLP 方案，你的输入会过于巨大（ 768 * token 长度），不太可行。
Jul 26, 2022 Replied to a topic by Richard14 › 程序员 › 深度学习中位置编码的本质是不是就是一层 nn.Parameter()而已？ |
- 位置编码在输入时加在了词嵌入中，模型里的 Transformer Block 都有残差链接，这样位置的信息也可以传递到后面的层，被后面的层“把握”。
- 输出的“整体信息”和每个输入 token 的 embedding （ embedding 也就是你说的特征提取后的信息）都在一个输出层上。一般认为插入在句子输入最前面的 [CLS] token 对应的 embedding 包含了后面输入句子的全部信息，这里的原因是在 BERT 的 NSP 预训练任务时，会拿 [CLS] 位置的 embedding 来预测输入的两句话的先后关系，这样 Self-Attention 的过程就会把后面的句子的信息集中到 [CLS] 的位置的 embedding 中。所以加入的 CLS token 并不是说人为加入了一个全局信息。
- 如果你要把 BERT 用在自己的回归任务上，可以只将预训练的 BERT 当作一个获取词嵌入的工具。也就是在 BERT layer 的输出给到回归任务的输入。但具体用 BERT layer 的全局 embedding （[CLS] 位置输出），还是取输入 token embedding 的平均，都可以尝试。
- 输出的“整体信息”和每个输入 token 的 embedding （ embedding 也就是你说的特征提取后的信息）都在一个输出层上。一般认为插入在句子输入最前面的 [CLS] token 对应的 embedding 包含了后面输入句子的全部信息，这里的原因是在 BERT 的 NSP 预训练任务时，会拿 [CLS] 位置的 embedding 来预测输入的两句话的先后关系，这样 Self-Attention 的过程就会把后面的句子的信息集中到 [CLS] 的位置的 embedding 中。所以加入的 CLS token 并不是说人为加入了一个全局信息。
- 如果你要把 BERT 用在自己的回归任务上，可以只将预训练的 BERT 当作一个获取词嵌入的工具。也就是在 BERT layer 的输出给到回归任务的输入。但具体用 BERT layer 的全局 embedding （[CLS] 位置输出），还是取输入 token embedding 的平均，都可以尝试。
Jul 22, 2022 Replied to a topic by tenstone › 程序员 › 调研贴：你用什么笔记软件？ |
Obsidian
Apr 7, 2022 Replied to a topic by kuls › 程序员 › 各位大佬有没有推荐做笔记软件？ |
Obsidian + Git / OneDrive
Dec 28, 2021 Replied to a topic by duanxianze › 问与答 › 求助，买的二手房没有预埋网线，光纤只到客厅，如何改造成本低效果好？ |
家里也是没有布线，但是前段时间自己折腾了隐形光纤，就是自己布置时比较费时费力。但收发机、光纤接好了就能直接使用，效果挺好。
Select Language