import re

def is_title_heuristic(text, threshold=30):
    """
    基于啟發(fā)式規(guī)則判斷是否為標題
    """
    # 1. 長度檢測：太長肯定不是標題，太短可能是廢話
    if len(text) > threshold or len(text) < 4:
        return False
    
    # 2. 結尾標點檢測：如果以句號、逗號結尾，大概率是正文
    if text.endswith(('。', '．', ',', '.', ';', '；')):
        return False
    
    # 3. 數字/年份特征：包含年份或列表數字（如 1. 2. 3.）
    if re.search(r'\d{4}年|第[\d一二三四五六七八九十]+章|Top \d+', text):
        return True
    
    # 4. 英文 Title Case 檢測 (簡單版)
    # 檢查首字母是否大寫，且長度大于1
    if text[0].isupper() and len(text) > 1:
        # 簡單的概率判斷：如果大寫字母占比過高（全大寫標題除外），可能是標題
        upper_ratio = sum(1 for c in text if c.isupper()) / len(text)
        if 0.2 < upper_ratio < 0.8: 
             return True
            
    # 5. 關鍵詞匹配
    title_keywords = ['報告', '指南', '揭秘', '分析', '研究', '新聞', 'Review', 'Guide', 'Analysis']
    if any(keyword in text for keyword in title_keywords):
        return True

    return False

# 測試
test_cases = [
    "2023年中國經濟發(fā)展報告",      # True
    "這是一個普通的句子。",          # False
    "How to Learn Python in 30 Days", # True
    "今天天氣不錯",                  # False (太短且無特征)
    "揭秘：DeepSeek 的核心技術"       # True
]

for t in test_cases:
    print(f"{t:30} -> {'是標題' if is_title_heuristic(t) else '是正文'}")

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import joblib

# 1. 模擬數據集 (實際應用中需要幾千條真實數據)
data = [
    ("深度學習入門教程", 1),
    ("根據最新的統(tǒng)計數據顯示", 0),
    ("2024年投資策略分析", 1),
    ("他昨天去了公園，玩得很開心。", 0),
    ("Python 編程最佳實踐", 1),
    ("這是一段用于測試的正文內容。", 0),
    ("如何優(yōu)雅地刪除 Emoji", 1),
    ("在自然語言處理中，數據清洗非常重要。", 0),
]

texts = [d[0] for d in data]
labels = [d[1] for d in data] # 1=標題, 0=正文

# 2. 特征工程：TF-IDF (注意：中文需要先分詞，這里為了演示用 char level)
vectorizer = TfidfVectorizer(analyzer='char', ngram_range=(2, 3)) # 使用字符級N-gram捕捉結構
X = vectorizer.fit_transform(texts)

# 3. 訓練模型
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2, random_state=42)
clf = LogisticRegression()
clf.fit(X_train, y_train)

# 4. 預測
def predict_is_title(text):
    vec = vectorizer.transform([text])
    return clf.predict(vec)[0] == 1

# 測試
new_text = "2024年宏觀經濟展望"
print(f"'{new_text}' 是標題嗎? {predict_is_title(new_text)}")

new_text_2 = "我們需要進一步觀察市場的反應。"
print(f"'{new_text_2}' 是標題嗎? {predict_is_title(new_text_2)}")

pip install transformers torch

from sentence_transformers import SentenceTransformer, util

# 加載預訓練模型 (中文)
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 定義一些“典型標題”的模板
title_templates = [
    "2023年行業(yè)研究報告",
    "Python 入門指南",
    "如何高效學習",
    "深度學習技術分析",
    "新聞早知道"
]

# 計算模板的嵌入向量
template_embeddings = model.encode(title_templates)

def is_title_bert(text, threshold=0.6):
    """
    通過計算文本與標題模板的語義相似度來判斷
    """
    text_embedding = model.encode(text)
    
    # 計算與所有模板的最大相似度
    max_score = 0
    for tpl_emb in template_embeddings:
        score = util.cos_sim(text_embedding, tpl_emb).item()
        if score > max_score:
            max_score = score
            
    return max_score > threshold

# 測試
print(is_title_bert("2024年AI發(fā)展趨勢"))  # True (高相似度)
print(is_title_bert("今天中午吃了面條"))  # False (低相似度)
print(is_title_bert("Python 編程教程"))   # True

from bs4 import BeautifulSoup

html = """
<h1>這是主標題</h1>
<p>這是正文段落。</p>
<h2>這是副標題</h2>
<div class="content">這里也是正文</div>
"""

soup = BeautifulSoup(html, 'html.parser')

for tag in soup.find_all(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']):
    print(f"發(fā)現(xiàn)標題: {tag.get_text()} (層級: {tag.name})")

import re

def is_markdown_title(line):
    # 匹配 # 標題
    if re.match(r'^#{1,6}\s+', line):
        return True
    # 匹配 Setext 風格標題 (下劃線)
    if re.match(r'^=+$|^--+$', line):
        return True
    return False