| また、下記のようなメッセージが出力される場合があります。, ・/var/run/log/vobd.log ファイルと Virtual Center のイベントに VOB メッセージが表示される。, Lost access to volume due to connectivity issues. Note: Depending on its configuration and the type of underlying storage, a VMFS datastore can exclusively use the atomic test and set locking mechanism (ATS-only), or use a combination of ATS and SCSI reservations (ATS+SCSI). 年内限定「AIT 年末キャンペーン」, 【リレー連載】わたしの推しノード –ストリームを変幻自在に整頓活用する超人「スーパーノード」の神業パラメータ処理. Recovery attempt is in progress and the outcome will be reported shortly, ・/var/run/log/vmkernel.log ファイルに、次のメッセージが表示される。, ATS Miscompare detected between test and set HB images at offset XXX on vol YYY, ・/var/log/vmkernel.log ファイルに、ATS の不一致を示す次のようなエラー メッセージが記録される。. ブログを報告する, 【ESXiホストの動作が不安定になったとき - ATS Heartbeat の無効化を検討してみる - VMware KB 2118921 】, esxcli system settings advanced set -i 0 -o /VMFS3/UseATSForHBOnVMFS5, http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=c05228694, Thin で作成された仮想ディスクの縮小方法（Guest : Linux） - 今更感ありますが。, 【ESXiのバージョンアップはiso をブートさせると楽】ESXi6.0 -> ESXi6.5 も同…. VMwareのディスクとのハートビート設定で「ATS ハートビート」機能がオンになっており、それが原因でディスクとの接続断が発生している。 対応策. VMwareの外部ストレージとしては、最近はNFS(v3)で構成するケースが増えています, この投稿は、2020年10月1日に、米国 IBM Cloud Blog に掲載されたブログ(英語)の抄訳です。 IBM Cloud Certificate Manager は、IBM Cloud Kuber ...続きを読む, この投稿は、2020年10月01日に、米国 IBM Cloud Blog に掲載されたブログ(英語)の抄訳です。 シンプルで使いやすいツールを使って、インフラストラクチャのコンポーネントやアプリケーションを検出し、IBM ...続きを読む, この投稿は、2020年8月17日に、米国 IBM Cloud Blog に掲載されたブログ(英語)の抄訳です。 IBM Cloudのコスト見積もりツールがリニューアルされました IBM Cloudではお客様 ...続きを読む, IBM Cloud Kubernetes ServiceとIBM Cloud Certificate Managerの統合, ESXi host loses connectivity to a VMFS3 and VMFS5 datastore（英語）, VMwareの外部ストレージとしては、最近はNFS(v3)で構成するケースが増えています, スリーエイ・システムによるブロックチェーンを活用したネット電子投票システムの実証実験, MediStreams LLC ー IBM Cloudにより新規顧客のための導入時間を短縮化, Red Hat OpenShift on IBM Cloud の新しい柔軟な価格体系について, AI画像認識開発をまるっと一式セットでお得に! ====================, Hewlett-Packard Enterprise からはStorage観点でもドキュメントが公開されていました。+ Array Host Disconnects While Running VMware vSphere 5.5 Update 2 and Laterhttp://h20564.www2.hpe.com/hpsc/doc/public/display?docId=c05228694, japan-vmwareさんは、はてなブログを使っています。あなたもはてなブログをはじめてみませんか？, Powered by Hatena Blog In addition, new VMFS5 datastores on storage devices … 2015-11-20T22:12:47.194Z cpu13:33467)ScsiDeviceIO: 2645: Cmd(0x439dd0d7c400) 0x89, CmdSN 0x2f3dd6 from world 3937473 to dev “naa.50002ac0049412fa” failed H:0x0 D:0x2 P:0x0 Valid sense data: 0xe 0x1d 0x0. ESXi ホストが VMFS3 および VMFS5 データストアから切断される, 【代替案】 ATS ハートビート機能をオフにする。 方法については下記のVMware社サイトをご参照ください。 ESXi host loses connectivity to a VMFS3 and VMFS5 datastore（英語）, 【参考】日本語訳 最新情報は上記英語版をご参照ください。 では、内容に入ろうと思いますが、この事象（VMware KB）が影響を及ぼしている機能は、 ESXi 5.5 Update 2 以降で実装された ATS（Atomic Test and Set） です。 ATS（Atomic Test and Set）とは？ まず参考になる資料はこちらです。 ESXi5.5 Update 2 以降でESXi の動作が不安定であったり、仮想マシンの動作が不安定になったときには、いろいろな観点で切り分けを行おうとすると思います。今回ご紹介するのはVMware KB 2118921 です。, （日本語）ESXi ホストが VMFS3 および VMFS5 データストアから切断される (2118921)https://kb.vmware.com/kb/2118921, （英語）ESXi host loses connectivity to a VMFS3 and VMFS5 datastore, まず、次の内容が単体で稼働するESXi5.5 Update 2 以降のマシン、もしくはクラスタで発生した場合は、このKB を見てみるといいことがあるかもしれません。, ・vCenter Server 配下のクラスタ全体で動作が不安定・ESXiホストが vSphere vCenter から切断される・仮想マシンのディスク I/O 操作が不安定、もしくはハングする, これらの事象が発生したとき、正直なところ運用担当者としては ”勘弁してほしい" と思うでしょう。私だって思います（汗では、内容に入ろうと思いますが、この事象（VMware KB）が影響を及ぼしている機能は、ESXi 5.5 Update 2 以降で実装された ATS（Atomic Test and Set） です。, ■ATS（Atomic Test and Set）とは？まず参考になる資料はこちらです。, https://pubs.vmware.com/vsphere-50/topic/com.vmware.vsphere.storage.doc_50/GUID-DE30AAE3-72ED-43BF-95B3-A2B885A713DB.html, ESXi5.5 Update 2 以降からAtomic Test and Set という機能が実装されました。これは、従来行っているSCSI Reservation を利用してストレージを利用するのではなく、Atomic Test and Set(ATS)と呼ばれるアルゴリズムを用いて小さいファイル単位でファイルをロックするため、これによりSCSI Reservation よってディスクI/O待ちとなった問題が最小限に抑えられ、処理が向上するようになっています。ご存知のとおり、VMFSは複数のホストから共有できる優れたファイルシステムですが、ストレージを共有している以上は、整合性を保つ必要があり、データの一貫性を保つためにVMFSのメタデータ領域に対して排他制御が行われます。, 例を挙げると従来行っているSCSI Reservation を利用した場合、LUN単位でロックし排他制御が行われるため同じLUNを利用している仮想マシン全てが待たされます。, 一方でATSでは、LUN単位ではなくロック対象のセクタのみ排他制御を行いますので、排他制御の影響を受ける仮想マシンを大幅に減らすことが可能です。これによりSCSI Reservation の衝突が発生し性能(パフォーマンス)が劣化するという問題を解消し、効率の良い排他ロック機能を提供するため、SCSI Resetが発生しづらい状況にもなります。この機能は、ハードウェア アクセラレーションをサポートするストレージ デバイスを利用している場合に利用可能です。（ハードウェアオフロードとかいう言い方も）, しかし、この機能により、ESXi カーネルがストレージ システムに発行する ATS コマンドの量が大幅に増え、ストレージ システムへの負荷が増え、場合によっては、ATS を使用する VMFS へのハートビートがうまく動作せず失敗し、ESXi カーネルが VMFS データストアへのアクセスを再検証を繰り返す結果になることがあります。これにより、データストアへの接続が切断されたり、切断されてすぐに接続されるなどの不安定な状況になることがあります。, こういったときは一度ATS heartbeat を無効化してみるといいかと思います。この部分はVMware KB に記載されている以下のコマンドをESXiにSSH接続して実行することで無効化が可能です。日本語版も英語版もコマンドに間違いはありませんでした。esxcli system settings advanced set -i 0 -o /VMFS3/UseATSForHBOnVMFS5, 実行例を記載します。まずは、現在の状況を確認し、ATS有効化になっていることを確認。■画像, ■テキストesxcli system settings advanced list -o /VMFS3/UseATSForHBonVMFS5, Path: /VMFS3/UseATSForHBOnVMFS5 Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Use ATS for HB on ATS supported VMFS5 volumes, esxcli system settings advanced set -i 0 -o /VMFS3/UseATSForHBOnVMFS5esxcli system settings advanced list -o /VMFS3/UseATSForHBonVMFS5 Path: /VMFS3/UseATSForHBOnVMFS5 Type: integer Int Value: 0 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Use ATS for HB on ATS supported VMFS5 volumes, また、判断材料の１つとしてvmkernel.log を見ることも有効です。vmkernel.log にこのような記録が多く確認できることがあります。====================2016-xx-xxTxx:xx:xxx.xxxZ cpuxx:xxxxx)ScsiDeviceIO: xxxx: Cmd(0x4136c3d842c0) 0x89, CmdSN 0x1088c from world 32797 to dev "naa.xxxxxxxxxxxxxxxxx082xxx" failed H:0x5 D:0x0 P:0x0 Possible sense data: 0xe 0x1d 0x0.====================, この Sense data : 0xe 0x1d 0x0 がVMware KBに記載されている以下の内容と一致します。====================/var/log/vmkernel.log ファイルに、ATS の不一致を示す次のようなエラー メッセージが記録される。2015-11-20T22:12:47.194Z cpu13:33467)ScsiDeviceIO: 2645: Cmd(0x439dd0d7c400) 0x89, CmdSN 0x2f3dd6 from world 3937473 to dev "naa.50002ac0049412fa" failed H:0x0 D:0x2 P:0x0 Valid sense data: 0xe 0x1d 0x0. アトミック テスト アンド セット (ats) のロックをサポートするデバイスで vmfs5 データストアを作成する場合、データストアは ats 専用ロック メカニズムを使用します。特定の状況では、ats 専用ロックを ats+scsi にダウングレードにすることが必要になります。 VMwareのディスクとのハートビート設定で「ATS ハートビート」機能がオンになっており、それが原因でディスクとの接続断が発生している。, 方法については下記のVMware社サイトをご参照ください。 ats のみのロックへオンラインまたはオフライン アップグレードするための環境を準備するには、いくつかの手順を実行する必要があります。 手順 VMFS5 データストアにアクセスするすべてのホストを、最新バージョンの vSphere にアップグレードします。 カテゴリー IBM Cloud Blog | IBM Cloud アップデート情報, 一部のお客様の環境で、下記の事象が発生しています。該当する事象が発生した際には、下記の項目をご参照ください。, また、発生条件に合致している場合には、事象が発生していない環境でもATS ハートビート機能をオフにすることが推奨されます。, VMware ESXi 6.0または6.5から、Endurance Storage または Performance StorageをBlockデバイス (iSCSIマウント), ESXi からEndurance Storage (または Performance Storage) への接続遅延や接続断が発生し、そのESXi 上で動作する仮想マシンが不安定になったり操作ができなくなる。 通常、以前に vmfs3 からアップグレードされた vmfs5 データストアでは、ats+scsi ロック メカニズムを継続して使用します。データストアは、ats が有効なハードウェアにデプロイされている場合、ats のみのロックへのアップグレードで使用可能です。 Datastores that use the ATS+SCSI mechanism include VMFS5 datastores that were upgraded from VMFS3.