Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
本文通过扩展KDA参数范围，提出Complex KDA(CKDA)模型，以增强线性RNN的表达能力，同时保持其稳定性和效率。
0 citationsRead paper
Selected work
Representative Papers
Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss
研究了英语语料库上预训练大规模语言模型的学习率和批量大小的缩放行为，采用Warmup-Stable-Decay学习率调度，并探讨了损失与模型容量和数据集大小之间的关系。
0 citationsRead paper
LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
为解决多模态预训练数据需求，通过收集和处理1.3亿个视频URL生成LAION-BVD数据集，采用内容感知场景检测和合成字幕技术，支持视频、音频及图像模态学习。
0 citationsRead paper
Recent publications
Latest Papers
Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
本文通过扩展KDA参数范围，提出Complex KDA(CKDA)模型，以增强线性RNN的表达能力，同时保持其稳定性和效率。
0 citationsRead paper
Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss
研究了英语语料库上预训练大规模语言模型的学习率和批量大小的缩放行为，采用Warmup-Stable-Decay学习率调度，并探讨了损失与模型容量和数据集大小之间的关系。
0 citationsRead paper
LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
为解决多模态预训练数据需求，通过收集和处理1.3亿个视频URL生成LAION-BVD数据集，采用内容感知场景检测和合成字幕技术，支持视频、音频及图像模态学习。
0 citationsRead paper