机器学习检测加纳移动支付诈骗短信:朴素贝叶斯、SVM 与随机森林分类器对比评测
一项针对加纳移动支付(MoMo)诈骗短信的对比评测显示,Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00,三者五折交叉验证准确率分别为 96.6%(±3.3)、94.9%(±4.6)和 92.0%(±4.2)。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
一项针对加纳移动支付(MoMo)诈骗短信的对比评测显示,Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00,三者五折交叉验证准确率分别为 96.6%(±3.3)、94.9%(±4.6)和 92.0%(±4.2)。
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
arXiv 论文提出面向企业智能体的对齐基准,基于 Era by Eon 的企业数字孪生模拟器(含 Salesforce、Zendesk、Jira、Slack 等 10 个系统)测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
论文将弱身份信息下的隐式未成年人检测形式化为高风险用户属性推断任务,提出由大语言模型、Harness 与 Maker-Checker 协议组成的约束框架,控制推断触发时机、要求结构化对话证据并对 Harness 修订做版本级审查。在含 8,328 条多轮对话的受控中文基准上,该方法相比同族 LLM 直接推断,平均精度与未成年人类 F1 分别提升 7.60 和 6.37 个百分点。
arXiv 论文提出"frame collapse"现象,指出 LLM 金融助手在面对用户未言明的语境(数据口径、产品变体、投资者情况与适用规则)时,会给出数据中真实存在但回答了另一个问题的答案。
FIDES-Live 将 FIDES 从生成策略一致性扩展到顺序智能体轨迹审计,对 10 条推理路径、7,299 个加密货币账户轮次及 310 轮股票试点进行回溯审计。加密货币决策有效率为 97.35%,可评分回答的结构化报告准确率为 90.81%,承诺遵守率整体为 94.36%。非空订单提案约束的遵守率降至 62.63%,而有效空提案为 97.56%;所有现金与持仓变动均与成交记录对账一致。
论文提出 SEEK(Skill Extraction with Evolving Knowledge),一个仅依赖用户可见响应的黑盒自进化红队Agent,用于从科学Agent平台提取可复用技能。
arXiv 论文提出 SentryBench,一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型,场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
论文发布 AquaSense-ICS 开源数据集与基准,将 Raspberry Pi 5 边缘节点 25.4 小时记录窗口(8.0 小时实录数据、26% 覆盖率。
论文提出 AgentPhishing 基准,用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求,同时发布 PhishOpt 方法,在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能,并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
论文提出 REGATTA(Regulatory Evaluation of Agents via Two-stage Testing and Assurance),一个面向企业 AI Agent 评测的测量框架,包含 125 项带来源引用的清单(覆盖美国与越南五个行业-司法辖区单元)、25 个故障语料,以及在设计与执行两阶段为测试套件打分的故障注入 harness。
该论文在 SciFact 生物医学声明验证任务上,以 PubMed API 为唯一工具做受控消融,固定骨干模型与输出格式,对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
研究将 CaseHOLD 扩展出弃权条件(5,314 题中 1,670 题替换正确判决),对比四个 System One 决策模型与六个生成式 LLM:无正确选项时生成式 LLM 仍有 38-86% 强行选一项,最谨慎的决策模型为 30%。
Yikai Zhao 的论文指出,主流文档转换器都会丢失作者通过文本外观编码的语义线索,使 Agent 在识别政策文档中被作者特别标注的要求时,micro F1 从 0.690 降至 docling 的 0.150 和纯文本的 0.075,该差距在 5 个 Claude 模型和 GPT-5.6 上均可复现。
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准,数据集取自五套主流云系统的真实事故报告,并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验,并定性分析 LLM 在何处、为何失败,揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开,论文收录于 APSEC 2026。
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则,细化为 Given-When-Then 规格,并逐条构造环境状态与模拟用户进行多轮测试。
论文提出基于 Gemini 2 家族模型的模块化多智能体个人健康助手 PHA,由数据科学 DS、领域专家 DE、健康教练 HC 三个子智能体与中央 orchestrator 组成,覆盖 11 项基准、超过 7,000 条人工标注和 1,350 小时(651 小时终端用户、699 小时专家)投入。
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438,提出针对 LLM 交易 Agent 的“信息注入”攻击基准,覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
LeakBench 是一个可执行、由指南推导出的审计套件,用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景(MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据),并以描述性方式使用奖励黑客概念,不归因意图。
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准,在 15 只美股上评估约 10,000 次决策,覆盖 5 种注入向量和 7 类事件。
研究者提出一个博弈论框架,让 LLM 无需微调即可通过上下文经验学习反诈骗策略,将诈骗者与反诈机器人互动建模为双人博弈,并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上,自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源,成果获 ECML PKDD 2026 接收。