PDFから文章単位で切り出す（ベクトル検索向け）

from PyPDF2 import PdfReader

def custom_rstrip(string):
# 半角スペースと全角スペースを除去

    return string.rstrip(' \u3000')

# PDFファイルを読み込み、処理する

file_path = '01_tebiki2023bun.pdf'
reader = PdfReader(file_path)

# セクションとそのページ番号を格納するための辞書
sections_with_pages = {}
current_section = ''
current_page = 0
current_section_number = 0
section_text = ''  # セクションテキストの初期化

for page in reader.pages:
    current_page += 1  # ページ番号のインクリメント
    page_text = page.extract_text()
    if page_text:

        for line in page_text.split('\n'):
# 行が全角数字で始まるかチェック

            if line and '\uff10' <= line[0] <= '\uff19' and line[1] in ['\u3000', ' ']:
                try:
# 新しいセクションの開始

                    current_section_name = custom_rstrip(line[2:])
                    if ("、" in current_section_name or "。" in current_section_name) or len(current_section_name) > 15:
# セクション名の条件に一致する場合、テキストを追加

                        section_text += line + '\n'
                    else:
                        if current_section:
                            current_section_number += 1
# 前のセクションを保存

                            sections_with_pages[current_section_number] = (start_page, current_section, current_section_name, section_text.replace("\n", ""))
                        
                        current_section = line.split()[0]  # セクション名を抽出
                        start_page = current_page
                        section_text = ''
                except IndexError:
                    continue  # セクション名が存在しない場合は次の行へ
            else:
# 現在のセクションにテキストを追加

                section_text += line + '\n'

# 最初の数セクションを表示

list(sections_with_pages.items())