1 件の投稿を表示中 (合計 16 個)
  • 作成者
    投稿
  • #32090
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    2.3GB以上のXMLファイルを初めて(ディスクキャッシュにない状態)開くと、開いた直後に右下に表示される合計行数が、本来の合計行数より大幅に増加して表示され、XMLテキストの一部の連続した行が重複した状態でファイルが開かれる致命的なバグです。

    この不具合は、「2.3GB以上のXMLファイルの正規表現検索中にクラッシュする」の修正確認中に、ファイルを開いた際の行数が一致しているかなどを精密に確認していたことで、このバグの発見に至りました。事前にテキストファイルの合計行数を把握していないと、発見不可能な致命的なバグです。やはり、EmEditorの重要な挙動についての細かい仕様の確認は、重要であると改めて実感いたしました。

    具体的には、jawiki-20241020-abstract.xmlは、合計行数は20,871,119行ですが、v24.4.902で初めて(ディスクキャッシュにない状態)開くとステータスバーの行数表示欄が「0/21,809,459 行」と表示されます。その状態で別名保存し、WinMergeでテキスト差分を確認したところ、大きな差分が見つかりました。
    その一例として、下記の文字列をオリジナルXMLファイルと別名保存XMLファイルで検索した結果、オリジナルファイルでは1件のみですが、別名保存したXMLファイルでは2件見つかりました(編集していなのに開いただけでユーザの意図しない重複行が発生する)。
    <sublink linktype="nav"><anchor>ああっ女神さまっ 小っちゃいって事は便利だねっ</anchor>
    ただし、毎回同じ文字列が重複するかはわかりません。

    念のため、HDDの不良セクタやI/Oのエラーの可能性を疑いましたので、Notepad++ v8.7.1 64bitで同じ手順と条件で検証しました。
    しかし、このような現象は発生せず正しい合計行数で読み込まれて表示されることを確認しました。

    拡張子依存があるか全くわからないため、TXTファイルにおいても同じ現象が発生しないかのご確認もお願いいたします。
    XMLファイルだけなのか、.xmlを.txtに修正したTXTファイル、XMLデータのない通常のTXTファイルなどでも発生するのかの調査情報が欲しいです。

    この不具合の影響範囲を簡易的に知るため、過去のv24.3.0、v24.2.1も確認しました。
    その結果、v24.4.902, v24.2.1, v24.3.0, v24.2.1のすべてでこの不具合が発生することを確認しました。

    上記不具合の発生の再現手順は下記の通りです。

    〔対象〕
    v24.2.1 (64bit)
    v24.3.0 (64bit)
    v24.4.1 (64bit)
    v24.4.902 (64bit)

    〔使用環境〕
    CPU : AMD Ryzen 9 3900X 12-Core Processor 3.80 GHz
    RAM : 128 GB
    OS : Windows 10 Pro 64bit 22H2 build 19045.5011
    MB : ASUS PRIME X570-PRO
    HDD : ST8000DM004-2CX188 (8TB, D:)(テスト用ファイルはすべてこのドライブ上に保存して使用した)
    Windows 10設定:
    [高速スタートアップを有効にする]:OFF
    設定方法は、FMVサポート : 富士通パソコン – FMV Q&A – [Windows 10] 高速スタートアップを無効にする方法を教えてください。を参照。
    ※ONの場合の再起動でも再現するかは検証していません。

    〔再現手順〕
    0.事前準備
    WikipediaのDatabase backup dumpsのファイルをダウンロードして、それぞれ展開する。展開のファイルサイズは、非常に大きいためディスクの空き容量に注意すること。
    jawiki-20241020-abstract.xml.gz (file size: gz 260.8 MB, xml 2.3 GB)
    jawiki-20241020-pages-meta-current.xml.bz2 (file size: bz2 4.7 GB, xml 21.9 GB)
    enwiki-20241020-abstract.xml.gz (file size: gz 847.7 MB, xml 6.7 GB)

    なお、上記のファイルは、2024/11/22時点ではダウンロードできるが、3カ月程度でローテーションするため、最新の日付のURLからダウンロードする必要がある。

    1.EmEditor 64bit ポータブル版を初期状態で起動
     zipファイルから展開して、起動する。
     初回のエディション選択は、Professionalを選択する。

    2.ファイルを開く
    EmEditorのバージョンを固定して、下記の(A)、(B)、(C)のファイルについて、3.以降の手順を実行する。
    (A)0.のjawiki-20241020-abstract.xmlを開く。
    (B)0.のjawiki-20241020-pages-meta-current.xmlを開く。
    (C)0.のenwiki-20241020-abstract.xmlを開く。

    開く処理が終わるまで待つ。

    正しい合計行数は下記の通り。Notepad++ v8.7.1 64bitで確認済み。
    (A)jawiki-20241020-abstract.xml
    合計行数:20,871,119 行
    (B)jawiki-20241020-pages-meta-current.xml
    合計行数:307,099,309 行
    (C)enwiki-20241020-abstract.xml
    合計行数:85,969,886 行

    3.ステータスバーの行数確認
    ステータスバーの最右の「行数」表示欄を確認し、必要に応じて右クリックでコピーして、別に保存する。

    4.テキスト編集画面の行数確認
    Ctrl+Endキーを押下して、テキストの最下行へ移動する。
    ステータスバーの「カーソル位置」表示欄を確認し、必要に応じて右クリックでコピーして、別に保存する。

    5.EmEditorの再起動
    一つのファイルの確認が完了したらEmEditorを終了して、もう一度起動させる。

    EmEditorのバージョンを固定して、(A)、(B)、(C)の全てについて2.~5.を実行する

    6.Windowsの再起動
    (A)、(B)、(C)を順番に開き終わったら、Windowsを再起動する。
    再起動後は、次のEmEditorのバージョンを起動して、2.から実行する。

    ただし、再起動せずにEmEditorのみを再起動して、(A)、(B)、(C)のいずれかを2回目に開くとステータスバーの最右の「行数」表示欄に正しい合計行数が表示される。
    したがって、ディスクキャッシュにファイルデータがあるかどうかで、このバグが発生するか決まる。他の要因はわかりません。

    7.結果の確認
    合計行数が増加するバグが発生したファイルとEmEditorのバージョンは下記の通りでした。

    (A)jawiki-20241020-abstract.xml
    v24.4.902, v24.2.1, v24.3.0, v24.2.1

    (B)jawiki-20241020-pages-meta-current.xml
    v24.3.0

    (C)enwiki-20241020-abstract.xml
    v24.4.902, v24.2.1, v24.3.0, v24.2.1

    〔詳細情報〕
    「行数」は、ファイルを開く処理が完了後のステータスバーの最右の「行数」表示内容。
    「最終行カーソル位置」は、ファイルを開く処理が完了後にCtrl+Endキーを押下した後のステータスバーの「カーソル位置」表示内容。

    
    v24.4.902
    jawiki-20241020-abstract.xml
                  行数: 0/21,809,459 行
    最終行カーソル位置:   21,809,459行, 1桁
    
    jawiki-20241020-pages-meta-current.xml
                  行数: 0/307,099,309 行
    最終行カーソル位置:   307,099,309行, 13桁
    
    enwiki-20241020-abstract.xml
                  行数: 0/86,697,813 行
    最終行カーソル位置:   86,697,813行, 1桁
    
    v24.2.1
    jawiki-20241020-abstract.xml
                  行数: 0/21,421,127 行
    最終行カーソル位置:   21,421,127行, 1桁
    jawiki-20241020-pages-meta-current.xml
                  行数: 0/307,099,309 行
    最終行カーソル位置:   307,099,309行, 13桁
    enwiki-20241020-abstract.xml
                  行数: 0/86,699,928 行
    最終行カーソル位置:   86,699,928行, 1桁
    
    v24.3.0
    jawiki-20241020-abstract.xml
                  行数: 0/22,474,532 行
    最終行カーソル位置:   22,474,532行, 1桁
    jawiki-20241020-pages-meta-current.xml
                  行数: 0/313,971,853 行
    最終行カーソル位置:   313,971,853行, 13桁
    enwiki-20241020-abstract.xml
                  行数: 0/86,760,560 行
    最終行カーソル位置:   86,760,560行, 1桁
    
    v24.2.1
    jawiki-20241020-abstract.xml
                  行数: 0/21,421,127 行
    最終行カーソル位置:   21,421,127行, 1桁
    jawiki-20241020-pages-meta-current.xml
                  行数: 0/307,099,309 行
    最終行カーソル位置:   307,099,309行, 13桁
    enwiki-20241020-abstract.xml
                  行数: 0/86,699,928 行
    最終行カーソル位置:   86,699,928行, 1桁
    
    #32094
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    3つのファイルをダウンロードし、再現手順に従って試してみましたが、初回、2回目、再起動後の3回目ともに、ファイルの行数に変化は見られませんでした。実際に開いた直後にステータス バーに表示されたファイルサイズと行数は以下の通りです。

    
    jawiki-20241020-abstract.xml 
    2.32 GB (2,495,630,385 バイト), 20,871,118 行。
    
    jawiki-20241020-pages-meta-current.xml
    21.9 GB (23,544,648,340 バイト), 307,099,309 行。
    
    enwiki-20241020-abstract.xml
    6.70 GB (7,201,978,416 バイト), 85,969,885 行。
    

    また、ファイルを開いて編集せずに「名前を付けて保存」を行い、保存前後のファイルを比較しましたが、変更はありませんでした。テストに使用した環境は、CPU: 13th Gen Intel Core i7-1360P 2.20 GHz、RAM 16.0 GB、EmEditor Version 24.4.902 です。

    お使いのディスクに異常がないか確認していただけますでしょうか? Notepad++ で開いただけでは確認できないと思いますので、OSのツールや、chkdsk コマンドなどで、ディスクに問題がないか確認してみてください。

    どうぞよろしくお願いいたします。

    #32095
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    江村様の環境では、再現されなかったということで了解しました。
    chkdsk /f d:は、実行して改めて、再度手順を実行したところ、報告した通り再現しました。
    おそらく、ディスクキャッシュが配置されるメモリに何か異常が何かある可能性がありそうです。以前、別のPCでUSB3.1接続のUSB HDDの接続状態が不安定でUSB HDDの取り外しや読込でわずかにエラーが出た経験がありました。この時は、1,2カ月ほどUSB HDDとUSBポート、ケーブルを疑ってあれこれ調べましたが、原因がさっぱり判明しませんでした。その後、別のきっかけでメモリのチェックを実行した結果、アドレス番地で5GB付近と、16GB付近に数バイトずつの故障があることが判明し、正常なメモリに交換したところUSB HDDの接続不具合が解消しました。
    この時は、表面上の不具合は、USB HDDの不調という形で表れていたため、真の原因のメモリの部分故障による接続情報を管理するデータやキャッシュが壊れていたことにたどり着くのに6カ月かかってしまいました。

    私のPCのメモリは長期保証のもの使用しているのですが、上記の通り部分的に故障が発生した過去があったので、メモリが簡単には故障しないという考えが盲点になっていたようです。
    今回の報告した事象については、メモリの部分故障の可能性があったにもかかわらず、気づくことができないで、お騒がせして大変申し訳ありませんでした。
    言い訳になってしまいますが、ハードウェア故障は、ハードウェア1つならまだわかりやすいのですが、複数のハードウェアが関係して複合すると真因が霧にかかったように見えなくなり、簡単に見つけられない難しさがあります。

    よろしくお願いします。

    #32096
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    Windowsメモリ診断ツールなどで、メモリに異常がないかテストしてみてください。

    どうぞよろしくお願いいたします。

    #32097
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    メモリテストツールのご紹介ありがとうございます。
    私は、10年近く使用している実績のあるMemTest86 Free(V9.3)を使用してメモリのテストを実施しました(以前メモリエラーを発見したバージョンに固定して使用)。
    その結果、すべてのテストをパスして、エラーは見つかりませんでした。

    この結果を受けて、EmEditorはv24.4.902に固定して、ファイルのエラーを完全に排除するために、〔再現手順〕を再度実行して、圧縮ファイルの展開を含めてやり直しました。
    ただし、初回はD:のみだったので、手元にあったHDDドライブを事象発生比較のためにG:, H: J:として追加しました。
    それぞれのファイルのデータが完全一致していることを確認するために、SHA256のハッシュ値を取得して確認しました。

    今回使用したドライブと型番は下記のとおりです。
    なお、すべてのドライブにおいて、chkdsk /fを実行済みです。

    
    D:  ST8000DM004-2CX188, 8TB
    G:  WD My Passport 2627 USB HDD (WDC WD40NDZW-11MR8S1), 4TB
    H:  WDC WD120EFBX-68B0EN0, 12TB
    J:  ZST8000DM004-2CX188, 8TB
    

    ハッシュ値は、コピー完了後にWindowsを再起動してから次のPowerShellスクリプト(PowerShell v7.4.6で使用)で取得しました。ハッシュ値の取得には、Windows標準のcertutil.exeを使用しています。

    
    $flist = Get-ChildItem -File; $flist | % -begin { $i = 0; $hashtype = "sha256"; } {
    $exe_result = certutil.exe -hashfile "$($_.FullName)" $hashtype;
    Write-Host "$([string]::Format("{0,-9}: {1}", "File name", $_.FullName))";
    Write-Host "$([string]::Format("{0,-9}: {1} [Byte]", "File size", $_.Length))";
    Write-Host "$([string]::Format("{0,-9}: {1}", $hashtype.ToUpper(), $exe_result[1]))";
    if ($flist.Length -gt 1 -and $i -ne ($flist.Length - 1)) { Write-Host ""; };
    $i += 1;
    }
    

    使用したファイルのハッシュ値の一覧は、末尾の〔ファイルのハッシュ値の一覧〕に示した通りです。

    江村様の提示いただいたXMLファイルの情報についてですが、jawiki-20241020-abstract.xmlとenwiki-20241020-abstract.xmlは、私が展開した同じファイルよりもそれぞれ 7 [Byte]少なく、総行数も 1 [行]少なくなっております。
    私が、提示したSHA256のハッシュ値と一致するかご確認をいただいて、再度不具合の検証手順の実施をお願いいたします。念のため、圧縮ファイルは保存先ディレクトリを分けて、2回ダウンロードしてハッシュ値が一致することを確認しています。なお、私の行数の情報は、EmEditorを使用してXMLファイルを開いた2回目の時に表示されるステータスバーに表示される「行数」を正しい情報としています。

    EmEditor v24.4.902を使用して、初回の手順通りに実施した結果は、下記の通りになりました。今回は、件数が多いためExcelで表を作成して、下記に貼り付けました(列はタブ区切りなので、コピーしてExcelに貼り付けると見やすくなると思います)。

    
    CaseNo	ファイル名	ファイルパス名	行数	カーソル位置
    1.1*	enwiki-20241020-abstract.xml	D:\TestData\enwiki-20241020-abstract.xml	0/86,673,255 行	86,673,255行, 1桁
    2.1*	enwiki-20241020-abstract.xml	G:\TestData\enwiki-20241020-abstract.xml	0/89,351,439 行	89,351,439行, 1桁
    3.1	enwiki-20241020-abstract.xml	H:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    4.1*	enwiki-20241020-abstract.xml	J:\TestData\enwiki-20241020-abstract.xml	0/86,701,277 行	86,701,277行, 1桁
    4.1.2	enwiki-20241020-abstract.xml	J:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    1.2*	jawiki-20241020-abstract.xml	D:\TestData\jawiki-20241020-abstract.xml	0/21,809,459 行	21,809,459行, 1桁
    2.2*	jawiki-20241020-abstract.xml	G:\TestData\jawiki-20241020-abstract.xml	0/21,809,459 行	21,809,459行, 1桁
    3.2	jawiki-20241020-abstract.xml	H:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    4.2*	jawiki-20241020-abstract.xml	J:\TestData\jawiki-20241020-abstract.xml	0/22,326,599 行	22,326,599行, 1桁
    4.2.2	jawiki-20241020-abstract.xml	J:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    1.3	jawiki-20241020-pages-meta-current.xml	D:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    2.3	jawiki-20241020-pages-meta-current.xml	G:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    3.3	jawiki-20241020-pages-meta-current.xml	H:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    4.3	jawiki-20241020-pages-meta-current.xml	J:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    4.3.2	jawiki-20241020-pages-meta-current.xml	J:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    
    ※1 CaseNo 2.2のファイル読込中の最後付近のステータスバー表示内容が、「ファイルを読込中...(2,453 MB / 2,380 MB, 21,415,157 行) (103 %) 65 MB/s 残り時間: 0秒」と表示され、進捗率が100%を超えていた。
    ※2 不具合が発生したCaseNoには、その末尾に「*」を追記している。
    

    不具合が発生するドライブは、D:, G:, J:であることが判明しました。D:とJ:は、同じメーカーで同じ型版です。
    HDDのハードウェアもこの不具合の発生させる要因の一つであると判明しました。

    上記にも書きましたが、CaseNo 2.2のファイル読込中の最後付近のステータスバー表示内容が、「ファイルを読込中…(2,453 MB / 2,380 MB, 21,415,157 行) (103 %) 65 MB/s 残り時間: 0秒」と表示され、進捗率が100%を超える現象も発生しましたが、EmEditorの不具合ではないでしょうか?

    この不具合の発生原因の詳細情報のご提供をお願いいたします。

    〔ファイルのハッシュ値の一覧〕
    ダウンロードした圧縮ファイル:

    
    File name: C:\DLData\enwiki-20241020-abstract.xml.gz
    File size: 888851612 [Byte]
    SHA256   : 5db1f530bde86e127be0e1a9f9360b80ee3b053db63085d894ee81025730949f
    
    File name: C:\DLData\jawiki-20241020-abstract.xml.gz
    File size: 273506145 [Byte]
    SHA256   : bc9c0ae7be517c68bb2c79c16b9775099f590f240dee684baa8f5c03f44a6bc9
    
    File name: C:\DLData\jawiki-20241020-pages-meta-current.xml.bz2
    File size: 5041613044 [Byte]
    SHA256   : 37103e74e6d54c3d1cd60a5ed5ff036becd4cc1230396662182feced17f773ac
    

    展開したXMLファイル:
    ※「—」は、ドライブごとの区切行の目印です。

    
    File name: C:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: C:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: C:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    ---
    File name: D:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: D:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: D:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    ---
    File name: E:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: E:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: E:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    ---
    File name: G:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: G:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: G:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    ---
    File name: J:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: J:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: J:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    ---
    File name: H:\TestData\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: H:\TestData\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: H:\TestData\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    

    ——
    私が使用したツールとバージョンは、下記の通りです。
    MemTest86 V9.3 Free
    Explzh v9.56
    PowerShell v7.4.6

    各ツールのダウンロード:
    MemTest86 Free
    https://www.memtest86.com/download.htm
    Explzh
    https://www.ponsoftware.com/archiver/download.htm
    PowerShell v7.x
    https://github.com/PowerShell/PowerShell/releases

    #32098
    yasuji
    参加者

    すみません。J:のドライブ情報に余計な文字が含まれていましたので、下記の通りに訂正します。

    
    D:  ST8000DM004-2CX188, 8TB
    G:  WD My Passport 2627 USB HDD (WDC WD40NDZW-11MR8S1), 4TB
    H:  WDC WD120EFBX-68B0EN0, 12TB
    J:  ST8000DM004-2CX188, 8TB
    
    #32099
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    私は、10年近く使用している実績のあるMemTest86 Free(V9.3)を使用してメモリのテストを実施しました(以前メモリエラーを発見したバージョンに固定して使用)。

    まず最初に、Windowsメモリ診断ツールでもテストしてみてください。ディスクによって結果が異なるということですので、CrystalDiskInfo などディスク診断ツールでも各ディスクをテストしてみてください。お使いのマシンに問題がないことを完全に確認することが重要です。

    上記にも書きましたが、CaseNo 2.2のファイル読込中の最後付近のステータスバー表示内容が、「ファイルを読込中…(2,453 MB / 2,380 MB, 21,415,157 行) (103 %) 65 MB/s 残り時間: 0秒」と表示され、進捗率が100%を超える現象も発生しましたが、EmEditorの不具合ではないでしょうか?

    本来のファイルサイズは2,380 MBであるにもかかわらず、2,453 MBが読み込まれているため、ファイルのロード中にファイルサイズが増加しているようです。CaseNo 2.2で不具合が発生しているということですが、これはEmEditorの問題というよりも、ディスクまたはメモリの不具合の可能性が考えられます。

    よろしくお願いいたします。

    #32100
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    まず最初に、Windowsメモリ診断ツールでもテストしてみてください。ディスクによって結果が異なるということですので、CrystalDiskInfo などディスク診断ツールでも各ディスクをテストしてみてください。お使いのマシンに問題がないことを完全に確認することが重要です。

    MemTest86 Freeによるメモリテスト結果は、受け入れられないということで理解いたしました。
    江村様のご指定のWindowsメモリ診断ツールでのテスト実施する前に、テスト項目が#32096のご回答より増えてかつ、「お使いのマシンに問題がないことを完全に確認すること」を要求されましたので、双方の確認する手間を最小にしたいため確認させてください。

    (1)どのようなツールを使い、(2)どのような手順を実行して、(3)どのような内容でご連絡したら「私のマシンに問題がないことを完全に確認できた」と判断されるのか教えていただけないでしょうか?
    (1)については、ツール名称とWindows標準でない場合は、ダウンロード先URL
    (2)については、ツールごとの操作手順、デフォルト以外の設定内容
    (3)については、江村様にどのようなご連絡をしたらよいのか?
    私は、いい加減な不具合連絡をしているつもりはなく、可能な限り不具合の再現可能な手順や関連情報を提供してきました。
    江村様は、最初は「Windowsメモリ診断ツールなどで、メモリに異常がないかテストしてみてください。」と説明されたので、私は実績のあるメモリテストツールのMemTest86 Freeを選択してメモリテストを実施しました。
    しかし、このツールのメモリテスト結果は認められないのであれば、(1)~(3)をご提示いただけないと、また他のテストをしてくださいや、私のマシンに問題があるのでサポート対象外ですと判断されると私の時間が無駄になってしまいます。

    本来のファイルサイズは2,380 MBであるにもかかわらず、2,453 MBが読み込まれているため、ファイルのロード中にファイルサイズが増加しているようです。CaseNo 2.2で不具合が発生しているということですが、これはEmEditorの問題というよりも、ディスクまたはメモリの不具合の可能性が考えられます。

    私は、EmEditorの読取処理の中に不具合があり、本来は2,380 MBで停止するはずが、何らかの原因でファイルの一部のデータ(テキスト)を重複して読み込んでいると考えていました。
    下記がその考える根拠になります。
    引用元:#32090 – 〔致命的バグ〕XML File(2.3GB~)を初めて開くと総行数が増加

    具体的には、jawiki-20241020-abstract.xmlは、合計行数は20,871,119行ですが、v24.4.902で初めて(ディスクキャッシュにない状態)開くとステータスバーの行数表示欄が「0/21,809,459 行」と表示されます。その状態で別名保存し、WinMergeでテキスト差分を確認したところ、大きな差分が見つかりました。
    その一例として、下記の文字列をオリジナルXMLファイルと別名保存XMLファイルで検索した結果、オリジナルファイルでは1件のみですが、別名保存したXMLファイルでは2件見つかりました(編集していなのに開いただけでユーザの意図しない重複行が発生する)。
    <sublink linktype=”nav”><anchor>ああっ女神さまっ 小っちゃいって事は便利だねっ</anchor>
    ただし、毎回同じ文字列が重複するかはわかりません。

    ところが、江村様は「これはEmEditorの問題というよりも、ディスクまたはメモリの不具合の可能性が考えられます。」と別の原因だと説明されていますが、私はディスクやメモリの挙動や不具合影響については詳しくありませんので、どういうことが起きているのか全く理解できません。
    江村様が可能性があると考えられている発生メカニズムを教えていただけないでしょうか?

    引用元:#32097 – 〔致命的バグ〕XML File(2.3GB~)を初めて開くと総行数が増加

    江村様の提示いただいたXMLファイルの情報についてですが、jawiki-20241020-abstract.xmlとenwiki-20241020-abstract.xmlは、私が展開した同じファイルよりもそれぞれ 7 [Byte]少なく、総行数も 1 [行]少なくなっております。
    私が、提示したSHA256のハッシュ値と一致するかご確認をいただいて、再度不具合の検証手順の実施をお願いいたします。

    私が、わかりにくい文章を書いてしまったのが原因ですが、上記の件についてご確認いただいて、その結果をご連絡いただけますでしょうか?
    ハードウェアの問題も関係してきたため、ファイルデータの完全性を保証するためにSHA256のハッシュ値とファイルサイズを取得するPowerShellスクリプトを作成して、その結果を添付してすべてのドライブで全く同一だということを示しました。
    江村様は私に「マシンに問題がないことを完全に確認すること」を求めてきておりますので、その前提の環境で私の不具合連絡を検証されたと考えています。

    下記の2つを確認いただき、ご連絡いただけますでしょうか?
    (A)ダウンロードした圧縮ファイルとそれを展開したXMLファイルについて、〔ファイルのハッシュ値の一覧〕と同一のハッシュ値なのか確認していただき、その情報をご回答いただきたい。
    (B)同一であることが確認できた場合は、再度私の不具合検証手順を実施いただいて、その結果をご連絡いただきたいです。

    もし、(A)が同一でなかった場合は、ダウンロード経路上の通信または、保存先のドライブに問題がある可能性があるので、別途ダウンロード元でハッシュ値を保証されたISOファイルとそのハッシュ値テキストファイルをダウンロードして確認します。
    具体的には、下記の2つのファイルをダウンロードしていただき、ダウンロード後にubuntu-24.10-desktop-amd64.isoのSHA256のハッシュ値を取得して、SHA256SUMSの中にあるubuntu-24.10-desktop-amd64.isoのSHA256ハッシュ値と一致するかどうかで確認します。

    Ubuntu 24.10のISOファイル(ubuntu-24.10-desktop-amd64.iso)
    http://ubuntutym2.u-toyama.ac.jp/ubuntu/24.10/ubuntu-24.10-desktop-amd64.iso

    イメージファイルのSHA256ハッシュ値テキストファイル(SHA256SUMS)
    http://ubuntutym2.u-toyama.ac.jp/ubuntu/24.10/SHA256SUMS

    上記の配布元のHP(Ubuntu 24.10 (Oracular Oriole))
    http://ubuntutym2.u-toyama.ac.jp/ubuntu/24.10/

    もし、ハッシュ値が一致しなかった場合は、保存先のドライブまたは、ダウンロード経路上の通信に問題があることになるので、解決したうえで(A)の再度実行して確認いただきたい。

    江村様が誠意を示されてきたので、私も誠意をもって対応させていただいております。

    よろしくお願いします。

    #32105
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    どのようなツールでも構いませんので、お客様のマシンに問題がないか、できるだけ確認をお願いします。コンピューターの製造元がブート時や付属ソフトウェアで診断ツールを提供している場合は、それを使って完全なテストを行うことをお勧めします。中には、起動時に特定のキーを押すことでテストを開始できるコンピューターもあります。

    また、ハードディスクのS.M.A.R.T.情報を確認し、異常がないかチェックしてください。特定のハードディスクで問題が発生しているようですが、問題のあるディスクに共通点はありますか?ハードディスクのファームウェアに問題がある可能性も考えられるので、可能であればファームウェアのアップデートをお願いします。詳しくはハードディスクのメーカーのWebサイトをご参照ください。

    (3)については、江村様にどのようなご連絡をしたらよいのか?

    私とのメールのやり取りが勝手に転載されたのであれば、私のメールアドレスをご存じのはずです。そちらにご連絡ください。

    今後は、フォーラムではなく、直接私にメールを送ってください。

    よろしくお願いいたします。

    #32116
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    どのようなツールでも構いませんので、お客様のマシンに問題がないか、できるだけ確認をお願いします。コンピューターの製造元がブート時や付属ソフトウェアで診断ツールを提供している場合は、それを使って完全なテストを行うことをお勧めします。中には、起動時に特定のキーを押すことでテストを開始できるコンピューターもあります。

    また、ハードディスクのS.M.A.R.T.情報を確認し、異常がないかチェックしてください。特定のハードディスクで問題が発生しているようですが、問題のあるディスクに共通点はありますか?ハードディスクのファームウェアに問題がある可能性も考えられるので、可能であればファームウェアのアップデートをお願いします。詳しくはハードディスクのメーカーのWebサイトをご参照ください。

    つまり、「あなたのマシンのハードウェアの問題であって、EmEditorの不具合ではありません。したがって、修正することはありません。」という、ご回答だと理解いたしました。

    #32094で、ご回答した内容は、実は江村様が故意にXMLファイルの内容を7バイト削除して、不具合がないことを主張することが目的だった。もし、私が何か言ってきたら、江村様はこちらの環境では、このようなファイルになっており、不具合は再現されませんでしたと主張して、私のマシンの環境に原因であると結論付けて、強引に納得させる目論見だったということですね。

    #32096

    Windowsメモリ診断ツールなどで、メモリに異常がないかテストしてみてください。

    #32099

    まず最初に、Windowsメモリ診断ツールでもテストしてみてください。ディスクによって結果が異なるということですので、CrystalDiskInfo などディスク診断ツールでも各ディスクをテストしてみてください。お使いのマシンに問題がないことを完全に確認することが重要です。

    上記のテストのご説明ですが、2回目でテスト項目が増えています。ディスクやメモリの問題の可能性があることが分かっていたなら、最初から2回目の内容で書くことができたはずです。2回目でテストするツールを増やしたのは、テストすることが手間であることがわかっていて、かつ数を増やせば一つくらい問題が出るだろうと考えて、手間で私を疲弊させてあきらめさせるか、問題が出たらそれの可能性があると説明して、EmEditorの不具合ではないと説明づけて解決するつもりだった。

    上記が私のこの不具合の江村様の対応の真意だと考えています。

    私とのメールのやり取りが勝手に転載されたのであれば、私のメールアドレスをご存じのはずです。そちらにご連絡ください。

    今後は、フォーラムではなく、直接私にメールを送ってください。

    つまり、「今後はこのような深刻な不具合は個別にご連絡して、江村様の許可なく公開しないでください。」という意味でよろしいでしょうか?
    EmEditorのトップのHPにある「<100%> SATISFACTION GUARANTEE QUALITY SOFTWARE EMEDITOR」のロゴを出しているので、このような不具合を多数出されると当社の高品質保障を著しく毀損しますので、くれぐれもむやみに公表しないようにという脅しに聞こえます。

    この不具合に関しては、その他の不具合報告と異なり、その発生原因は私のハードウェアの問題にあるということにしたいという、江村様の回答から江村様の非常に強い意志が感じられました。
    そこを含めて考えると、EmEditorの根幹に関わりかつ修正が極めて困難な不具合だということが分かりました。

    いずれにしても、これは不具合ではなく、私のマシンのハードウェアの問題で生じたもので、EmEditorの不具合ではないといことで了解しております。

    私も、さすがに11月の不具合報告と想定外のこの不具合報告と対応で疲れてしまったので、もし新しい不具合を見つけたとしても報告することはもう二度とありませんので、ご安心いただければと思います。
    11月に報告した不具合及び、この不具合の対応をユーザが見て、今後ともEmEditorを使い続けたいと考えるユーザはいないのではないでしょうか。

    最後に、この不具合報告の対応に怒りを覚えるところがありましたので、上記に私の見解を書かせていただきました。

    よろしくお願いします。

    #32117
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    まず、問題がハードウェア、ソフトウェア、EmEditorのどこにあるのかを明確にすることが重要です。そのため、yasuji様にはハードウェアの確認をお願いしております。もちろん、EmEditor側でも調査を進めていますので、その点はご安心ください。

    > つまり、「あなたのマシンのハードウェアの問題であって、EmEditorの不具合ではありません。したがって、修正することはありません。」という、ご回答だと理解いたしました。

    修正しないとは申し上げておりません。EmEditorの不具合であれば、もちろん修正いたします。また、不具合でない場合でも、進捗率が100%を超える現象が発生した際には警告メッセージを表示する対応を検討しています。

    > 実は江村様が故意にXMLファイルの内容を7バイト削除して、不具合がないことを主張することが目的だった。

    そのようなことは一切ございません。本当にそうお考えですか?信じがたいです。

    > もし、私が何か言ってきたら、江村様はこちらの環境では、このようなファイルになっており、不具合は再現されませんでしたと主張して、私のマシンの環境に原因であると結論付けて、強引に納得させる目論見だったということですね。

    そのような意図は全くありません。

    > ディスクやメモリの問題の可能性があることが分かっていたなら、最初から2回目の内容で書くことができたはずです。2回目でテストするツールを増やしたのは、テストすることが手間であることがわかっていて、かつ数を増やせば一つくらい問題が出るだろうと考えて、手間で私を疲弊させてあきらめさせるか、問題が出たらそれの可能性があると説明して、EmEditorの不具合ではないと説明づけて解決するつもりだった。

    まず、EmEditorの不具合の可能性も考慮しています。しかし、yasuji様の環境ではディスクによって結果が異なるため、ディスクの問題も考えられます。ハードウェアによる不具合の原因特定は容易ではありません。そのため、問題がどこにあるのかを切り分ける必要があります。ご協力をお願いしておりますが、お手数をおかけします。まずは、不具合が発生するディスクに共通する問題や、各ディスクのS.M.A.R.T.情報を教えていただければ幸いです。yasuji様なら様々なツールをご存知でしょう。どのツールでも構いませんので、できるだけ詳しいテストをお願いいたします。情報が提供されなくても、EmEditorに問題がないか、さらに調査を進めます。

    > くれぐれもむやみに公表しないようにという脅しに聞こえます。

    脅しではありません。フォーラムはユーザー間の交流の場であり、私との一対一のサポートの場ではありません。リスペクトを持ち、常識的な態度で議論に参加することが求められます。最近、yasuji様とのやりとりがフォーラムを独占し、攻撃的な内容が含まれるため、他のお客様に迷惑となっております。また、私とのメール内容を許可なく転載したり、意味のない巨大ファイルを投稿したりすることは他のお客様にとって迷惑です。EmEditorが不具合だと決めつけているのはyasuji様ではないでしょうか?ディスクやメモリの問題の可能性もあるのに、「〔致命的バグ〕」という衝撃的なタイトルをつけるのはリスペクトを欠いており、私は不快に感じました。

    したがって、他のお客様に迷惑をかけないよう、yasuji様とはメールでやりとりすることを提案いたします。もし、EmEditorの不具合が明らかになりましたら、その対応も含め、フォーラムで公開いたします。

    > 11月に報告した不具合及び、この不具合の対応をユーザが見て、今後ともEmEditorを使い続けたいと考えるユーザはいないのではないでしょうか。

    私は常に誠意を持ってサポートを行っていますが、非常識な発言があまりにも多くなると、私も人間ですので、快くは思えません。それは他のお客様も理解していただけると思います。いずれにしても、すべての不具合報告にはしっかりと対応し、速やかに修正して更新していく姿勢には変わりありません。

    よろしくお願いいたします。

    #32118
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    お問い合わせいただいたファイルのハッシュ値について、私のマシンでも確認しましたのでお知らせします。

    ダウンロードした圧縮ファイル自体には違いはありませんでしたが、展開したXMLファイルのうち、enwiki-20241020-abstract.xml と jawiki-20241020-abstract.xml にはご指摘の通り違いがありました。この違いは、使用した展開ツールの違いによるもののようです。私は Windows 11 Pro (Version 23H2, Build 22631.4460) のエクスプローラーで展開しましたが、yasuji様はexplzhを使用されていました。そのため、explzhで展開したファイルの方が、7バイトずつ大きくなっていました。この違いを EmEditor で比較したところ、1行目の

    <feed> (LF)

    の後に、同じ文字列

    <feed> (LF)

    の1行が余分に挿入されていました。両ファイルとも、この7文字の違いです。

    以下にハッシュ値を記載しますので、ご参考にしてください。

    
    ダウンロードした圧縮ファイル:
    
    File name: C:\test\DownloadedZip\enwiki-20241020-abstract.xml.gz
    File size: 888851612 [Byte]
    SHA256   : 5db1f530bde86e127be0e1a9f9360b80ee3b053db63085d894ee81025730949f
    
    File name: C:\test\DownloadedZip\jawiki-20241020-abstract.xml.gz
    File size: 273506145 [Byte]
    SHA256   : bc9c0ae7be517c68bb2c79c16b9775099f590f240dee684baa8f5c03f44a6bc9
    
    File name: C:\test\DownloadedZip\jawiki-20241020-pages-meta-current.xml.bz2
    File size: 5041613044 [Byte]
    SHA256   : 37103e74e6d54c3d1cd60a5ed5ff036becd4cc1230396662182feced17f773ac
    
    展開したXMLファイル (エクスプローラで展開)
    
    File name: C:\test\XML\enwiki-20241020-abstract.xml
    File size: 7201978416 [Byte]
    SHA256   : 15f1433a86b6c251653b1e8693bc83daf09c5d7c00ac5d9fb75e064600552d50
    
    File name: C:\test\XML\jawiki-20241020-abstract.xml
    File size: 2495630385 [Byte]
    SHA256   : 555000242a58048d2adbb51f662e0388b5325c3a8b8dff60747ac4e42bbbff3d
    
    File name: C:\test\XML\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    
    展開したXMLファイル (explzhで展開)
    
    File name: C:\test\XML_explzh\enwiki-20241020-abstract.xml
    File size: 7201978423 [Byte]
    SHA256   : 87e58b7649e8d8d11a0a3df1a0d941cff1e057a0a8305b9fdfc83ee1db4b946a
    
    File name: C:\test\XML_explzh\jawiki-20241020-abstract.xml
    File size: 2495630392 [Byte]
    SHA256   : 10be66f671c9afaa1a1bf8f045e9816b9c46774d7f1e914111dd11afc90adc21
    
    File name: C:\test\XML_explzh\jawiki-20241020-pages-meta-current.xml
    File size: 23544648340 [Byte]
    SHA256   : 72deffd3eb53649de07d13b51174e2e4085d080650b984f1b53263fc23e74033
    

    引き続き、EmEditorに問題がないかも調査いたします。

    よろしくお願いいたします。

    #32119
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    プログラムの不具合について、私の環境でも再現できましたので、ディスクやメモリーのテスト結果については、もうお知らせいただかなくても大丈夫です。できるだけ早く修正し、次のバージョンを公開する予定です。

    特定の条件下で巨大なファイルを開く際、ディスクキャッシュの影響でファイルの読み取り開始時は速くても、遅いハードドライブを使用していると、途中で一部の行を重複して読むことがある問題がありました。この不具合は、v22.4から存在しており、「遅いドライブから巨大ファイルを開く際の動作を改善するために進捗メッセージを改良」した際に発生しました。

    yasuji様にはご迷惑をおかけし、大変申し訳ございませんでした。また、貴重なご報告をいただき、心より感謝いたします。

    今後も何かお気づきの点がございましたら、フォーラムやメールにてご連絡ください。

    引き続きよろしくお願いいたします。

    #32121
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    さきほど公開した v24.4.2 および v24.4.903 で修正いたしました。
    この度は、ご迷惑をおかけし、大変申し訳ございませんでした。

    今後もよろしくお願いいたします。

    #32123
    yasuji
    参加者

    江村様

    いつもお世話になっております。
    yasujiです。

    まずは、Explzhの圧縮展開ツールにgzファイルの展開に先頭行が重複出力される不具合を認知しておらず、ご迷惑をおかけして申し訳ありませんでした。
    長年愛用してきたツールで信用していたのですが、まさかこのような状況で信頼を裏切られることにショックを受けております。
    緊急の応急対策として、7-Zip for Windowsをダウンロードして、.xml.gz、.xml.bz2の展開をしたところ、江村様の提示されたファイルサイズとSHA256と全く同一になったことを確認できました。
    ただし、今回に限りデータの差異も不具合の発生有無に影響する可能性があるかもしれないと考えて、Explzhと7-Zipのそれぞれのxmlファイルをテストデータとして採用して検証しました。

    江村様の方でも動き(#32118)がありましたので、私がオオカミ少年にならないように最後の検証調査結果を実施してご連絡させていただきます。
    検証調査結果を連絡するに至ったのは、2024年11月27日(JST)の夜の時点で不具合の発生条件が前回より新しい情報が判明したことと、すでに調査してしまっていて諸々けじめをつけることが理由です。

    SHA256のハッシュ値の検証結果については、7-Zipで展開したxmlは江村様の提示のSHA256、Explzhで展開したxmlは前回報告したSHA256とすべて完全に一致していることは確認しておりますので、スペースの節約の観点から掲載を省略させていただきました。

    2024年11月27日(JST)の夜から現在に至る間に、EmEditor Version 24.4.2においてこの不具合が修正されたとの連絡で少し驚いております。後述しますが、私の予測よりもかなり不具合の特定が早かったという点で驚いています。
    検証結果は「調査結果3 EmEditor Version 24.4.2の検証結果」にて示した通り、すべてのケースで不具合は発生しませんでした。

    ここから、検証調査結果の新情報と私の見立てを説明いたします。

    今回の検証調査結果と、私の前回の検証結果の差異が下記の通りありました。
    (A)G:の通常フォーマットの実施後に不具合が発生しなくなった
     個人の事情で中のファイルすべてを別のHDDドライブに移動して通常フォーマット(NTFS, アロケーションユニットサイズ:4KB)を実行した後、検証を実施した結果不具合が発生しなくなりました。
     以前は、NTFSのアロケーションユニットサイズ4KBでフォーマット済みで、ほぼ100%の発生確率でした。
    (B)G:の検証結果の変化を受けて、再起動してから2回目の検証を実施したところ、一部のケースで不具合発生の有無の差異が生じた
     ファイルの変更は一切ないにもかかわらず、調査結果1と調査結果2のCaseNo4とCaseNo23で不具合発生の有無が変化した。

    上記の差異と今までの検証結果の知見から不具合の発生条件の私の見立ては下記の通りになります。

    • (A)の事実から、EmEditorがファイルを開く際にパーティションの情報(フォーマットすると変化する何らかのパラメータ)を利用していると推定されます(ほぼ確定)。
    •  (A)の事象が発生した原因の合理的な説明がこれ以外で説明することができないため。

    • (B)の事実から、EmEditorがファイルを開く際にOSの再起動で変化する情報を利用していて、その情報が条件付きで行数位置算出に影響を与えていると推定されます。
    •  勝手な推測ですが、ファイルマッピング技術を使用して最小のメモリサイズでファイルを開いていると考えています。
       この推測が正しいと仮定した場合、(B)の事象の原因は、おそらくその技術で取得できるファイルデータのアドレス情報が、ファイル開く際の行数位置算出に意図せずに関与している可能性があり、アドレス値によって影響を与えていると推測しています。

    ただし、上記の2つが、ORまたはANDの条件でファイルデータの読み取り処理の行数位置算出に影響を与えて、最終的に不具合が発生していると推測しました。

    この不具合は、リードキャッシュがない場合に限り発生していることから、ファイル読み取り処理の初期段階でキャッシュの有無判定があり、キャッシュ無しの場合に上記で推定した条件で不具合が発生していると考えました。
    ただし、上記は、私が外から観測して得られた情報からの勝手な推測であるため、実際の実装とは合致しないのは承知しております。

    EmEditor Version 24.4.2で修正されたこの不具合の説明文を読んだ限りですが、上記の推定した不具合とは少し違う印象を受けました。この不具合が発生させる現象を基準にして考えると、その現象を引き起こす不具合は一つではなく、複数の不具合が重なって一つのように見えているだけの状況で、そのうちの一つの不具合を修正して問題が解消したと安心してしまった状況では無いかと懸念しております。
    つまり、本当は不具合の真因がまだ残存していて、たまたま発生しない条件で検証して問題解消に見えているだけで、未知の条件でこの不具合が再発するのではと考えています。
    再現する条件が難しいこの不具合を見つけ出すには、2024年11月27日(JST)の夜を基準にしてそこから4日~7日は必要になると予測していました。

    長年のITエンジニアの経験から培った仕事の勘とその実績が少なからずあり、EmEditor Version 24.4.2で修正された不具合の説明文を初めて読んだ時に勘が働いてまだ不具合が残っていると直感したため、行き過ぎかもしれませんが念のため私のこの不具合原因の見立てを連絡した次第です。

    この不具合は、EmEditorのテキストデータをユーザに気づかれることなくデータ改変する性質があり、発生確率がかなり低くても一度発生するとユーザにとっても、江村様のこの先の事業にっとても多大な影響を与えます。
    詳細を語ることができませんが、過去にとあるソフトウェア開発プロジェクトに第三者の立場で関与していたときに、それなりの複雑度と大きさのソフトウェアを開発していました。その時の不具合が多発しており、
    その収束を目指して進められていた時に、ある不具合Aが発生して修正して事なきを得たように見えたのですが、最終工程の出荷前のテストで予期しない不具合Bが発覚して、緊急対応が行われて最終的には遅延する形で無事出荷することができました。
    しかし、後日に実施された調査分析の結果で不具合Bは、実は不具合Aの真因調査で早期の段階で見つけた原因の修正で調査をやめずに続けていれば、不具合Bを予期できる手がかりを得られることができたことが判明して、厳しく注意されました。
    この時の教訓として、不具合には複数の不具合が重なって一つに見えることがあることを学び、以後の不具合発見にそのケースの可能性を考慮するようになりました。

    いろいろとご迷惑をおかけしましたので、知見をご提供する形でお詫びとさせていただきたく思います。
    今後は新しい不具合情報については、どのような場所や形であっても一切出すことはいたしませんので、ご安心いただければと思います。

    私は状況が急展開してやや混乱しておりますが、今回ご迷惑をおかけした件について、一方的で申し訳ありませんがこれを以って幕引きとさせていただきたいです。

    よろしくお願いします。

    ——————————————
    〔今回調査した情報〕

    
    調査結果1 EmEditor Version 24.4.902の不具合再現結果1
    CaseNo	行数不一致	圧縮展開ソフト名	ファイル名	ファイルパス名	行数	カーソル位置
    1		Explzh	enwiki-20241020-abstract.xml	C:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    2		7-Zip	enwiki-20241020-abstract.xml	C:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    3	*	Explzh	enwiki-20241020-abstract.xml	D:\TestData\enwiki-20241020-abstract.xml	0/86,672,234 行	86,672,234行, 1桁
    4		7-Zip	enwiki-20241020-abstract.xml	D:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    5		Explzh	enwiki-20241020-abstract.xml	E:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    6		7-Zip	enwiki-20241020-abstract.xml	E:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    7		Explzh	enwiki-20241020-abstract.xml	G:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    8		7-Zip	enwiki-20241020-abstract.xml	G:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    9		Explzh	enwiki-20241020-abstract.xml	H:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    10		7-Zip	enwiki-20241020-abstract.xml	H:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    11	*	Explzh	enwiki-20241020-abstract.xml	J:\TestData\enwiki-20241020-abstract.xml	0/86,712,184 行	86,712,184行, 1桁
    12	*	7-Zip	enwiki-20241020-abstract.xml	J:\TestData_7zip\enwiki-20241020-abstract.xml	0/86,631,952 行	86,631,952行, 1桁
    13		Explzh	jawiki-20241020-abstract.xml	C:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    14		7-Zip	jawiki-20241020-abstract.xml	C:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    15	*	Explzh	jawiki-20241020-abstract.xml	D:\TestData\jawiki-20241020-abstract.xml	0/22,207,007 行	22,207,007行, 1桁
    16	*	7-Zip	jawiki-20241020-abstract.xml	D:\TestData_7zip\jawiki-20241020-abstract.xml	0/22,014,766 行	22,014,766行, 1桁
    17		Explzh	jawiki-20241020-abstract.xml	E:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    18		7-Zip	jawiki-20241020-abstract.xml	E:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    19		Explzh	jawiki-20241020-abstract.xml	G:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    20		7-Zip	jawiki-20241020-abstract.xml	G:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    21		Explzh	jawiki-20241020-abstract.xml	H:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    22		7-Zip	jawiki-20241020-abstract.xml	H:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    23	*	Explzh	jawiki-20241020-abstract.xml	J:\TestData\jawiki-20241020-abstract.xml	0/22,207,007 行	22,207,007行, 1桁
    24	*	7-Zip	jawiki-20241020-abstract.xml	J:\TestData_7zip\jawiki-20241020-abstract.xml	0/21,869,820 行	21,869,820行, 1桁
    25		Explzh	jawiki-20241020-pages-meta-current.xml	C:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    26		7-Zip	jawiki-20241020-pages-meta-current.xml	C:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    27		Explzh	jawiki-20241020-pages-meta-current.xml	D:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    28		7-Zip	jawiki-20241020-pages-meta-current.xml	D:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    29		Explzh	jawiki-20241020-pages-meta-current.xml	E:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    30		7-Zip	jawiki-20241020-pages-meta-current.xml	E:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    31		Explzh	jawiki-20241020-pages-meta-current.xml	G:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    32		7-Zip	jawiki-20241020-pages-meta-current.xml	G:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    33		Explzh	jawiki-20241020-pages-meta-current.xml	H:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    34		7-Zip	jawiki-20241020-pages-meta-current.xml	H:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    35		Explzh	jawiki-20241020-pages-meta-current.xml	J:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    36		7-Zip	jawiki-20241020-pages-meta-current.xml	J:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    
    			D:  ST8000DM004-2CX188, 8TB
    			G:  WD My Passport 2627 USB HDD (WDC WD40NDZW-11MR8S1), 4TB (NTFS 4KB、通常フォーマット済み)
    			H:  WDC WD120EFBX-68B0EN0, 12TB
    			J:  ST8000DM004-2CX188, 8TB
    
    
    調査結果2 EmEditor Version 24.4.902の不具合再現結果2
    CaseNo	行数不一致	圧縮展開ソフト名	ファイル名	ファイルパス名	行数	カーソル位置
    1		Explzh	enwiki-20241020-abstract.xml	C:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    2		7-Zip	enwiki-20241020-abstract.xml	C:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    3	*	Explzh	enwiki-20241020-abstract.xml	D:\TestData\enwiki-20241020-abstract.xml	0/87,988,655 行	87,988,655行, 1桁
    4	*	7-Zip	enwiki-20241020-abstract.xml	D:\TestData_7zip\enwiki-20241020-abstract.xml	0/86,687,414 行	86,687,414行, 1桁
    5		Explzh	enwiki-20241020-abstract.xml	E:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    6		7-Zip	enwiki-20241020-abstract.xml	E:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    7		Explzh	enwiki-20241020-abstract.xml	G:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    8		7-Zip	enwiki-20241020-abstract.xml	G:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    9		Explzh	enwiki-20241020-abstract.xml	H:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    10		7-Zip	enwiki-20241020-abstract.xml	H:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    11	*	Explzh	enwiki-20241020-abstract.xml	J:\TestData\enwiki-20241020-abstract.xml	0/86,665,856 行	86,665,856行, 1桁
    12	*	7-Zip	enwiki-20241020-abstract.xml	J:\TestData_7zip\enwiki-20241020-abstract.xml	0/86,693,517 行	86,693,517行, 1桁
    13		Explzh	jawiki-20241020-abstract.xml	C:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    14		7-Zip	jawiki-20241020-abstract.xml	C:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    15	*	Explzh	jawiki-20241020-abstract.xml	D:\TestData\jawiki-20241020-abstract.xml	0/22,014,767 行	22,014,767行, 1桁
    16	*	7-Zip	jawiki-20241020-abstract.xml	D:\TestData_7zip\jawiki-20241020-abstract.xml	0/21,413,276 行	21,413,276行, 1桁
    17		Explzh	jawiki-20241020-abstract.xml	E:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    18		7-Zip	jawiki-20241020-abstract.xml	E:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    19		Explzh	jawiki-20241020-abstract.xml	G:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    20		7-Zip	jawiki-20241020-abstract.xml	G:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    21		Explzh	jawiki-20241020-abstract.xml	H:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    22		7-Zip	jawiki-20241020-abstract.xml	H:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    23		Explzh	jawiki-20241020-abstract.xml	J:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    24	*	7-Zip	jawiki-20241020-abstract.xml	J:\TestData_7zip\jawiki-20241020-abstract.xml	0/22,104,107 行	22,104,107行, 1桁
    25		Explzh	jawiki-20241020-pages-meta-current.xml	C:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    26		7-Zip	jawiki-20241020-pages-meta-current.xml	C:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    27		Explzh	jawiki-20241020-pages-meta-current.xml	D:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    28		7-Zip	jawiki-20241020-pages-meta-current.xml	D:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    29		Explzh	jawiki-20241020-pages-meta-current.xml	E:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    30		7-Zip	jawiki-20241020-pages-meta-current.xml	E:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    31		Explzh	jawiki-20241020-pages-meta-current.xml	G:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    32		7-Zip	jawiki-20241020-pages-meta-current.xml	G:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    33		Explzh	jawiki-20241020-pages-meta-current.xml	H:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    34		7-Zip	jawiki-20241020-pages-meta-current.xml	H:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    35		Explzh	jawiki-20241020-pages-meta-current.xml	J:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    36		7-Zip	jawiki-20241020-pages-meta-current.xml	J:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    
    
    調査結果3 EmEditor Version 24.4.2の検証結果
    CaseNo	行数不一致	圧縮展開ソフト名	ファイル名	ファイルパス名	行数	カーソル位置
    1		Explzh	enwiki-20241020-abstract.xml	D:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    2		7-Zip	enwiki-20241020-abstract.xml	D:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    3		Explzh	enwiki-20241020-abstract.xml	E:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    4		7-Zip	enwiki-20241020-abstract.xml	E:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    5		Explzh	enwiki-20241020-abstract.xml	G:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    6		7-Zip	enwiki-20241020-abstract.xml	G:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    7		Explzh	enwiki-20241020-abstract.xml	H:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    8		7-Zip	enwiki-20241020-abstract.xml	H:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    9		Explzh	enwiki-20241020-abstract.xml	J:\TestData\enwiki-20241020-abstract.xml	0/85,969,886 行	85,969,886行, 1桁
    10		7-Zip	enwiki-20241020-abstract.xml	J:\TestData_7zip\enwiki-20241020-abstract.xml	0/85,969,885 行	85,969,885行, 1桁
    11		Explzh	jawiki-20241020-abstract.xml	D:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    12		7-Zip	jawiki-20241020-abstract.xml	D:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    13		Explzh	jawiki-20241020-abstract.xml	E:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    14		7-Zip	jawiki-20241020-abstract.xml	E:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    15		Explzh	jawiki-20241020-abstract.xml	G:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    16		7-Zip	jawiki-20241020-abstract.xml	G:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    17		Explzh	jawiki-20241020-abstract.xml	H:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    18		7-Zip	jawiki-20241020-abstract.xml	H:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    19		Explzh	jawiki-20241020-abstract.xml	J:\TestData\jawiki-20241020-abstract.xml	0/20,871,119 行	20,871,119行, 1桁
    20		7-Zip	jawiki-20241020-abstract.xml	J:\TestData_7zip\jawiki-20241020-abstract.xml	0/20,871,118 行	20,871,118行, 1桁
    21		Explzh	jawiki-20241020-pages-meta-current.xml	D:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    22		7-Zip	jawiki-20241020-pages-meta-current.xml	D:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    23		Explzh	jawiki-20241020-pages-meta-current.xml	E:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    24		7-Zip	jawiki-20241020-pages-meta-current.xml	E:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    25		Explzh	jawiki-20241020-pages-meta-current.xml	G:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    26		7-Zip	jawiki-20241020-pages-meta-current.xml	G:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    27		Explzh	jawiki-20241020-pages-meta-current.xml	H:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    28		7-Zip	jawiki-20241020-pages-meta-current.xml	H:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    29		Explzh	jawiki-20241020-pages-meta-current.xml	J:\TestData\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    30		7-Zip	jawiki-20241020-pages-meta-current.xml	J:\TestData_7zip\jawiki-20241020-pages-meta-current.xml	0/307,099,309 行	307,099,309行, 13桁
    

    ——————————————
    〔今回使用したツール〕
    7-Zip (24.08, 64bit)
    https://www.7-zip.org/

    圧縮ファイル展開ツール以外は、前回のものと同じ。

    #32149
    Yutaka Emura
    キーマスター

    いつもお世話になっております。江村です。

    調査結果をご報告いただき、誠にありがとうございます。

    (A)の事実から、EmEditorがファイルを開く際にパーティションの情報(フォーマットすると変化する何らかのパラメータ)を利用していると推定されます(ほぼ確定)。
    (B)の事実から、EmEditorがファイルを開く際にOSの再起動で変化する情報を利用していて、その情報が条件付きで行数位置算出に影響を与えていると推定されます。

    と推測されていますが、記録のために書いておくと、これは正しくありません。

    実際には、問題はファイルのサイズと読み込み速度に依存しており、パーティションの情報などは関係ありません。ファイルの読み込みの初めは速く、その後速度が遅くなる場合にご指摘の問題が発生していました。この不具合は、v24.4.2 および v24.4.903 で修正済みです。また、今後同様の不具合が発生しないように、v24.4.904とまもなく公開する v24.5 では、ファイルサイズに内部的不整合がある場合に警告メッセージを表示する機能を追加しました。さらに、新機能の [検証] コマンドにより、開いたファイルの整合性やディスク、メモリの問題がないかを確認できるようになっています。ぜひ最新版に更新してご利用ください。

    この度はご迷惑をお掛けし、申し訳ありませんでした。何かお気づきの点がございましたら、メールまたはフォーラムでご連絡ください。

    今後ともよろしくお願いいたします。

1 件の投稿を表示中 (合計 16 個)
  • このトピックに返信するにはログインしてください。