墨石资本联合其旗下公司投入大量算力(财力)与人力资源(脑力)，根据生成式预训练变形模型，可望近期开发完成台湾第一个自有智慧财产权的大型语言模型 LLM基础架构模型 AI，并使用 MoE 模块化训练专家 AI 系统，以解决 AI 大模型幻觉，及专属企业内 AI 来避免客户隐私与机密泄漏的问题。
AI 大型语言模型在OpenAI于2022年11月发表了ChatGPT后，引发了全球AI热潮，并产生了各种AI应用用于提高工作生产力，在法律，医疗，文字工作，编程等领域，GPT都有杰出的表现。
因为大型语言模型基础架构模型开发前期必须投入大量算力来预训练 AI 大模型，而大模型预训练算力最低成本动辄4552万元-6828万元，即使斥巨资取得了足够的算力，还需要有一群数学与AI编程的博硕士专家，才可能自行研发AI大型语言模型的基础架构，所以LLM基础架构模型研发是一个资本密集与脑力密集的基础产业，即使投入了大量的财力与脑力并不代表一定会研发成功，存在一定的不确定性，所以大部分企业或AI应用提供公司大都使用美国LLM 公司的开源基础模型进行二次开发应用。 在世界各国都将 AI 发展视为主要战略之一，台湾亦不能缺席。
使用开源基础模型所开发的 AI 应用有其局限性，常面临无法对开源基础模型进行大范围功能调整、或针对台湾科技环境进行调整，也无法确定是否有信息安全及修护服务问题，并且有可能在使用一段时间后，开源公司会进行收费或是终止服务... 等等的诸多不确定性因素，对企业存在一定的使用风险。
此外，目前大部分的 LLM 一味的追求超大语言模型后，AI 产生幻觉，出现了所谓的「一本正经的胡说八道」 导致 AI 生成的数据可信度与真实性降低，反而可能降低了生产力。 另外，目前大部分提供GPT的服务公司基本都是通过互联网连线到AI Servers，对大部分公司都有客户隐私与泄漏公司机密的疑虑。
「大模型导致 AI 产生幻觉」 是一个有趣且值得探讨的议题。 当 AI 模型变得更大、更复杂时，确实存在一些有趣的现象。 它们能够从数据中捕捉到更多细微的模式和相关性，这可能会导致看似「神奇」的行为。 有时这些模型会产生出令人惊讶的答案，但是同时可能产生所谓的「幻觉」，即模型似乎表现出理解或意识的迹象，虽然实际上它们可能只是根据训练数据的统计模式进行操作。
这也引发了对 AI 的道德和伦理问题，特别是当 AI 的决策对人们的生活产生重大影响时。 因此，尽管大型模型的能力令人印象深刻，但也需要谨慎对待并警觉可能产生的「幻觉」现象。
观希国际法律事务所何星磊律师指出，当他尝试使用目前各大公司开放式的 GPT AI 用于产生法律文件，结果出现 AI 产生的文件内的法条并不存在于真实世界，但是 AI 却将其写入正式的法律文件，导致律师要花更多时间去分辨 AI 产生文件的真实性与可用性。
大模型的发展已经到了一个瓶颈期，目前大模型的研究新方向是混合专家模型MoE。 MoE 模型是一种由多个专家模型组成的模型架构，每个专家专注于特定部分的数据，通过另一个称为「gate」的模型进行加权整合，最终得出模型的预测和输出。 在机器学习领域，MoE 模型在处理复杂、多变数据上具有显著的潜力，特别是在提高准确性和泛化能力方面。
我们的研究目标包括：
1. 基于当前基本MoE模型进行改进，实现更为先进的MoE架构。
2. 优化 MoE 模型的训练方式与数据，提高模型性能和收敛速度。
3. 应用 MoE 模型于真实数据集，评估其性能与其他传统模型的比较。
4. 通过实验和分析，识别MoE模型在预测X领域中的优势和局限性。
期待研究结果能开发出具有一定性能的MoE模型原型，并全面评估其性能进为台湾各行各业提供更好以及有台湾大脑的AI解决方案，也响应了行政院智慧国家推动小组提出的台湾AI行动方案2.0.将实现「以AI带动产业转型升级、以AI协助增进社会福祉、让台湾成为全球AI新锐」为愿景。 从产业端出发透过深耕 AI 技术与发展 AI 产业及产业应用 AI，带动我国整体产业转型升级。
墨石资本旗下拥有 Aimfinity Investment Corp. I， 美国 Nasdaq 主板上市公司 ，与 ESG 相关公司与高科技研发公司，墨石资本是一家专注于投资高科技、高成长、ESG 相关的企业的风险投资机构。
